专栏首页about云日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

日志分析实战之清洗日志小实例3:如何在spark shell中导入自定义包

问题导读 1.自定义包,本文放到哪个路径下面? 2.复制包之后,需要做哪些权限操作? 3.如何验证导入是否成功?

在复制到Linux中,首先需要修改的就是权限。 我们看到用户和组的权限为500,并且用户,所属组,及其它用户都为满权限, 可以通过下面命令来实现

[Bash shell] 纯文本查看 复制代码

?

sudo chown 500:500 ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+r ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+w ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

sudo chmod -R a+x ScalaApacheAccessLogParser-master.jar

通过上面命令即可实现授权。 授权完毕,接着我们就需要把这个包,加载到spark shell环境中。

[Bash shell] 纯文本查看 复制代码

?

./bin/spark-shell --jars lib/ScalaApacheAccessLogParser-master.jar

接着我们执行导入jar包

[Bash shell] 纯文本查看 复制代码

?

import com.alvinalexander.accesslogparser._

至此我们就可以使用第三方包了。 问题: 同时尝试了比较多的导入方式,没有成功,记录下来共大家借鉴。

[Bash shell] 纯文本查看 复制代码

?

./bin/spark-shell –master spark://master:7077 –jars ScalaApacheAccessLogParser-master.jar

[Bash shell] 纯文本查看 复制代码

?

MASTER=local[4] ADD_JARS=/data/spark/lib/AlsApacheLogParser.jar ./bin/spark-shell

导入的时候,并不会报错,但是import的时候,报错。

本文分享自微信公众号 - about云(wwwaboutyuncom),作者:pig2

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • centos7:SSH公钥无密码认证

    问题导读 1.如何生成密钥对? 2.ssh localhost不成功,可能原因是什么? 3.ssh localhost警告的含义是什么? 在当前机器生...

    用户1410343
  • 大数据架构和模式(一): 大数据分类和架构简介

    问题导读 1.本文对大数据做了哪些分类? 2.对数据进行分类后,如何将它与合适的大数据模式匹配? 如何将大数据分为不同的类别 大数据问题的分析和解决通常很复杂。...

    用户1410343
  • 技术太多学不过来?教你如何越学越带劲

    一个人要想不断的提升,不断的改变,需要不断的学习,当然如果你想升职加薪,同样需要学习。然而当代知识层出不穷,学的过来吗?只要方法得当,相信可以通过学习达到我们的...

    用户1410343
  • Android项目实战(三十三):AS下获取获取依赖三方的jar文件、aar 转 jar

    听着music睡
  • 深度 | 谷歌I/O走进TensorFlow开源模型世界:从图像识别到语义理解

    机器之心原创 参与:吴攀、QW 一年一度的谷歌开发者大会 Google I/O 在山景城成功举行,在首日的 Keynote 中,谷歌宣布了一系列新的硬件、应用...

    机器之心
  • 谷歌、微软、OpenAI等巨头七大机器学习开源项目 看这篇就够了

    在人工智能行业,2015-2016 出现了一个不同寻常的趋势:许多重量级机器学习项目纷纷走向开源,与全世界的开发者共享。加入这开源大潮的,不仅有学界师生,更有国...

    AI科技评论
  • SpringBoot实现多数据源

    具体的代码逻辑不再赘述,源代码地址【https://github.com/gmg0829/SpringbootLearningExample/tree/mast...

    分母为零
  • 前端开发:Vue中双向数据绑定的简单使用

    在Vue.js开发过程中,数据处理是一个很重要的部分,尤其是Vue是一个MVVM的框架,也就是Vue经常谈到的双向数据绑定。双向数据绑定的大概原理就是:当数据发...

    三掌柜
  • 最系统,最通俗易懂的“深度学习”干货送上!看完这些,绝对让你搞懂深度学习!

    要说深度学习的学习资料,场主不得不推荐一份300多页的PPT,是台湾李宏毅教授所写。这份PPT有一个极其标题党的名字,叫《1天搞懂深度学习》,莫不说李教授是被深...

    养码场
  • 如何用 Rapid Miner 进行情感分析

    有段时间没学习 Rapid Miner 了,经实验室的小伙伴推荐,有个 Deep Learning 的扩展库挺强大的,能搭建各种深度学习的模型以及进行超参数调参...

    caoqi95

扫码关注云+社区

领取腾讯云代金券