博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
localhost方式提交作业到spark运行
阅读量:5158 次
发布时间:2019-06-13

本文共 567 字,大约阅读时间需要 1 分钟。

  • 修改参数
代码见上一节

Java版本:

JavaRDD rdd1 =  sc.textFile(args[0])
Scala版本:

val rdd1 = sc.textFile(args(0))
  • 编译
  • 添加spark依赖包
org.apache.spark
spark-core_2.11
2.2.1
  • 利用maven打包

  • 将打包文件复制到centos的home目录下
  • 进入spark的bin目录运行jar包
[root@localhost bin]# spark-submit --master local --name mywordCount --class  com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt
注意包名在前,jar包在后

运行结果如图所示:

 还要注意的是Scala版本和spark版本一定要对应

转载于:https://www.cnblogs.com/flyingcr/p/10327062.html

你可能感兴趣的文章
IP V4 和 IP V6 初识
查看>>
Spring Mvc模式下Jquery Ajax 与后台交互操作
查看>>
(转)matlab练习程序(HOG方向梯度直方图)
查看>>
『Raid 平面最近点对』
查看>>
【ADO.NET基础-数据加密】第一篇(加密解密篇)
查看>>
C语言基础小结(一)
查看>>
STL中的优先级队列priority_queue
查看>>
UE4 使用UGM制作血条
查看>>
浏览器对属性兼容性支持力度查询网址
查看>>
OO学习总结与体会
查看>>
虚拟机长时间不关造成的问题
查看>>
校门外的树2 contest 树状数组练习 T4
查看>>
面试整理:Python基础
查看>>
Python核心编程——多线程threading和队列
查看>>
Program exited with code **** 相关解释
查看>>
植物大战僵尸中文年度版
查看>>
26、linux 几个C函数,nanosleep,lstat,unlink
查看>>
投标项目的脚本练习2
查看>>
201521123107 《Java程序设计》第9周学习总结
查看>>
Caroline--chochukmo
查看>>