- 修改参数
代码见上一节
Java版本:
JavaRDD rdd1 = sc.textFile(args[0])Scala版本:
val rdd1 = sc.textFile(args(0))
- 编译
- 添加spark依赖包
org.apache.spark spark-core_2.11 2.2.1
- 利用maven打包
- 将打包文件复制到centos的home目录下
- 进入spark的bin目录运行jar包
[root@localhost bin]# spark-submit --master local --name mywordCount --class com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt注意包名在前,jar包在后
运行结果如图所示:
还要注意的是Scala版本和spark版本一定要对应