专栏首页about云about云日志分析实战之清洗日志小实例2:导入日志清洗代码并打包

about云日志分析实战之清洗日志小实例2:导入日志清洗代码并打包

问题导读 1.通过什么菜单项可以导入源码? 2.打jar包需要哪些步骤? 3.如何找到jar生成路径? 上一篇: about云日志分析实战之清洗日志1:使用spark&Scala分析Apache日志 http://www.aboutyun.com/forum.php?mod=viewthread&tid=22856 前面测试了一下spark,准备好环境,下面开始动工源码。分析清洗日志,这里面的代码还是比较复杂的。对于iis日志,可参考 about云日志分析项目准备10-3:Spark Local模式之Log文本清洗 http://www.aboutyun.com/forum.php?mod=viewthread&tid=21135 对于Apache日志,国外已经实现。源码git地址 https://github.com/alvinj/ScalaApacheAccessLogParser 导入源码 首先file-》open

选择源码文件

导入之后看到下面内容

对于spark环境不熟悉或则不会操作可参考 spark开发环境详细教程1:IntelliJ IDEA使用详细说明 http://www.aboutyun.com/forum.php?mod=viewthread&tid=22320 spark开发环境详细教程3:IntelliJ IDEA创建项目 http://www.aboutyun.com/forum.php?mod=viewthread&tid=22410 打包 上面我们准备了源码,然后将源码打成jar包,供我们项目中使用。 首先打开project structure,

选择依赖

填写主类

点击确定

选择菜单 Build Artifacts

点击build

最后生成jar包,在terminal中会显示输出jar包路径

找到生成jar包。我们就可以使用了。

本文分享自微信公众号 - about云(wwwaboutyuncom),作者:pig2

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • spark2 sql编程样例:sql操作

    问题导读 1.DataFrame中本文使用了row哪些方法? 2.操作DataFrame row需要导入什么包? 3.teenagersDF.map(teena...

    用户1410343
  • spark2.2以后版本任务调度将增加黑名单机制

    问题导读 1.spark如何开启黑名单机制? 2.哪些条件将将executors列入黑名单? 3.整个节点被列入黑名单,executors如何处理? s...

    用户1410343
  • Hadoop3.0扩展Yarn资源模型详解2:资源Profiles说明

    问题导读 1.Resource profiles解决了什么问题? 2.使用profile的好处是什么? 3.配置文件的简洁模式如何配置? 上一篇hado...

    用户1410343
  • 小米上市股价大涨,造就了这些亿万富翁!谷歌正式开源Jib;财富中国500强:京东夺魁互联网

    9 日,港股市场上的一件大事,就是明星新股小米正式登陆港交所挂牌交易。 尽管该股以招股价区间下限 17 港元开盘,但仍未能逃过破发的厄运,最终以 16.8 港元...

    程序员宝库
  • Yii2 学习笔记之发送邮件

    琯琯
  • LESS第三课

    用户7873631
  • 【一起玩蛇】python武器库的打开方式

    aerfa
  • AngularJS 中文资料+工具+库+Demo 大搜集

    中文学习资料: 中文资料且成系统的就这么多,优酷上有个中文视频。 http://www.cnblogs.com/lcllao/archive/2012/10/1...

    庞小明
  • 私有区块链Hyperledger Fabric和公共区块链ARK.io如何通过solidity智能合约结合

    我想展示如何将公共区块链(如ARK.io)的功能与私有区块链(如Hyperledger)结合起来。特别是,我们将看到ARK.io上的交易如何触发在Hyperle...

    笔阁
  • 机械式学习目标与过程描述

    用户1908973

扫码关注云+社区

领取腾讯云代金券