日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

问题导读 1.自定义包,本文放到哪个路径下面? 2.复制包之后,需要做哪些权限操作? 3.如何验证导入是否成功?

在复制到Linux中,首先需要修改的就是权限。 我们看到用户和组的权限为500,并且用户,所属组,及其它用户都为满权限, 可以通过下面命令来实现

[Bash shell] 纯文本查看 复制代码

?

sudo chown 500:500 ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+r ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+w ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+x ScalaApacheAccessLogParser-master.jar

通过上面命令即可实现授权。 授权完毕,接着我们就需要把这个包,加载到spark shell环境中。

[Bash shell] 纯文本查看 复制代码

?

./bin/spark-shell --jars lib/ScalaApacheAccessLogParser-master.jar

接着我们执行导入jar包

[Bash shell] 纯文本查看 复制代码

?

import com.alvinalexander.accesslogparser._

至此我们就可以使用第三方包了。 问题: 同时尝试了比较多的导入方式,没有成功,记录下来共大家借鉴。

[Bash shell] 纯文本查看 复制代码

?

./bin/spark-shell –master spark://master:7077 –jars ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

MASTER=local[4] ADD_JARS=/data/spark/lib/AlsApacheLogParser.jar ./bin/spark-shell

导入的时候,并不会报错,但是import的时候,报错。

原文发布于微信公众号 - about云(wwwaboutyuncom)

原文发表时间:2017-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闻道于事

layui动态设置下拉框数据,根据后台数据设置选中

追加下拉框数据: 设置默认选中: 正常的判断这种情况是不行的,因为追加出的数据,在前台显示的并不是同一个下拉框,原来的下拉框被隐藏了 因此需要:根据原来的位置,...

87510
来自专栏我是业余自学C/C++的

Mac下vim的配置文件

1291
来自专栏你不就像风一样

Maven报错Archive for required library:某.jar' in project '项目名'

761
来自专栏无原型不设计

【Mockplus教程】复制/克隆

复制是将页面复制到内存中,克隆是直接创建一个和原页面内容一样的新页面。 1. 复制 选中需要复制的页面,鼠标右键单击,弹出的菜单中选择“复制”, 然后在...

3143
来自专栏CodingBlock

Android查缺补漏(View篇)--布局文件中的“@+id”和“@id”有什么区别?

但需要注意的是在布局文件中,被引用的id要在引用位置的上面,否则会编译出错,如下:

1274
来自专栏DeveWork

代码重写WordPress网页标题为“原网页标题|网站名”的形式

为了那个所谓的搜索引擎优化(SEO),为了更高的收录,为了更多的流量,我们需要对WordPress做许多工作,重写WordPress网页标题就是其中之一,如果你...

2286
来自专栏从零开始学自动化测试

Selenium2+python自动化69-PhantomJS使用

前言 PhantomJS是一个没有界面的浏览器,本质上是它其实也就是一个浏览器,只是不在界面上展示。 PhantomJS非常适合爬虫方面,很多玩爬虫的都喜欢用这...

2974
来自专栏Youngxj

一键删除&#65279字符造成的顶部空白行

1522
来自专栏前端人人

React多页面应用6(webpack4 开发环境打包性能初提升)

本教程总共9篇,每日更新一篇,请关注我们!你可以进入历史消息查看以往文章,也敬请期待我们的新文章! 1、React多页面应用1(webpack4 开发环境搭建,...

41611
来自专栏不想当开发的产品不是好测试

centos下安装pip2

# 背景 新机器,安装完python2后发现竟然不自带pip,按照我的理解现在新版本的python,不管是2还是3都会自带pip的。没办法,需要自己去安装pip...

2966

扫码关注云+社区

领取腾讯云代金券