优化之前必须对要处理的数据量有一个充分的认识，比如：1.哪些数据是需要的，哪些是不需要的，数据过滤可否提前；2.多表链接的时候，先连接小表达到过...

1.Spark简述 Spark通过内存计算能力，急剧的提高大数据处理速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端，提...

1. textFile() 读取数据源，返回一个string类型的RDD， 举例： 2. map() 遍历每条数据（或进行相应处理）,主要用于数...

Scala + IntelliJ IDEA环境搭建 1.scala-sdk 准备 下载地址： https://downloads.lightbe...