常用的开发工具(一)

要使用搞大数据的各种平台,编程工具的选择就显得很重要了,不论在windows下还是linux下,一个好的工具,开以事半功倍!废话不多说,直接介绍一些我所了解的开发工具,当然可能不全,欢迎补充!

git工具,这是一个多版本的控制工具,支持版本回退等操作,团队协作的重要工具,推荐的学习网站是 廖雪峰的官方网站 ,链接:https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 我就是跟着这个学习的,感觉很受益。与其关联的是github,这个应该很多人比较熟悉了,你可以git clone 一个仓库后,git checkout -b 你的branch名字,然后修该文件 git add 文件 , git commit -m 描述, git push 文件 推送上去,,,当然先作为该仓库的贡献者,可以创建pr

上传自己的branch后,可以等待 人员审核,然后成为贡献者

maven,这是java的一个jar包管理的框架。当然平时小项目用到的jar包,我们都是手动下载,但当项目足够庞大的时候,下jar包可是很费事的,所以这个maven有一个中心仓库 ,链接:https://www.mvnrepository.com/ 一般会这样用,新建一个maven工程:

一般就是这个样子的,pom文件就是jar包的依赖,打开maven中央仓库,找到相应版本的依赖,加入pom文件的依赖中:

就OK了。前两天做项目的时候,师兄给了一堆的csv文件,让我导入hbase,然后我琢磨了两天,怎么都搞不定?大致原因有如下几点:python、处理的时候缺各种的jar包嘛!!!最后就采用了一种我自认为很舒服的办法,我用python先将所有的csv文件规则化,比如去除换行啊,文中的逗号(英文的),然后得到预处理文件,然后用maven工程写了java的程序导入hbase,然后直接 mvn package assemably:single打个jar包,直接上传到master,运行完美,哈哈哈哈,说实话,第一次体会到mvn的功能强大,限于项目的保密性,哈哈哈哈,就不能公布代码,哈哈哈哈,皮一下就很开心啦~~~~~~~~~~

3. sbt组织,和maven类似的操作,有兴趣可以了解一下,经常写scala程序用的多一点

总结,在写大数据的处理程序的时候,有时候真的找各种jar包,是一件特别累的事,真的很多时候可以很崩溃,今天就先介绍这些平台,下一次介绍一点开发工具及上述的几种的配置,增加开发效率哈~~~~~~~

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180902G1E4C500?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券