日志分析实战之清洗日志小实例3：如何在spark shell中导入自定义包
日志分析实战之清洗日志小实例3：如何在spark shell中导入自定义包
用户1410343
发布于 2018-03-26 15:16:28
发布于 2018-03-26 15:16:28
文章被收录于专栏：about云
问题导读 1.自定义包，本文放到哪个路径下面？ 2.复制包之后，需要做哪些权限操作？ 3.如何验证导入是否成功？
在复制到Linux中，首先需要修改的就是权限。 我们看到用户和组的权限为500，并且用户，所属组，及其它用户都为满权限， 可以通过下面命令来实现
[Bash shell] 纯文本查看 复制代码
?
sudo chown 500:500 ScalaApacheAccessLogParser-master.jar[Bash shell] 纯文本查看 复制代码
?
sudo chmod -R a+r ScalaApacheAccessLogParser-master.jar[Bash shell] 纯文本查看 复制代码
?
sudo chmod -R a+w ScalaApacheAccessLogParser-master.jar[Bash shell] 纯文本查看 复制代码
?
sudo chmod -R a+x ScalaApacheAccessLogParser-master.jar通过上面命令即可实现授权。 授权完毕，接着我们就需要把这个包，加载到spark shell环境中。
[Bash shell] 纯文本查看 复制代码
?
./bin/spark-shell --jars lib/ScalaApacheAccessLogParser-master.jar接着我们执行导入jar包
[Bash shell] 纯文本查看 复制代码
?
import com.alvinalexander.accesslogparser._
至此我们就可以使用第三方包了。 问题： 同时尝试了比较多的导入方式，没有成功，记录下来共大家借鉴。
[Bash shell] 纯文本查看 复制代码
?
./bin/spark-shell –master spark://master:7077 –jars ScalaApacheAccessLogParser-master.jar[Bash shell] 纯文本查看 复制代码
?
MASTER=local[4] ADD_JARS=/data/spark/lib/AlsApacheLogParser.jar ./bin/spark-shell导入的时候，并不会报错，但是import的时候，报错。
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2017-10-18，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
