腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

算法之名

专栏作者

332

文章

328978

阅读量

37

订阅数

Spark算法整理（Java版）顶

我们首先用idea来搭建Spark项目，具体可以参考提交第一个Spark统计文件单词数程序，配合hadoop hdfs ，只不过我们现在用java语言来编写，而不是Scala.

2019-08-26

4870

Hadoop hdfs+Spark配置

node.js bash bash 指令 spark 大数据

<configuration> <property> <name>dfs.nameservices</name> <value>guanjian</value> </property> <property> <name>dfs.ha.namenodes.guanjian</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn1</name> <value>host1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.guanjian.nn2</name> <value>host2:8020</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn1</name> <value>host1:50070</value> </property> <property> <name>dfs.namenode.http-address.guanjian.nn2</name> <value>host2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://host1:8485;host2:8485/guanjian</value> </property> <property> <name>dfs.client.failover.proxy.provider.guanjian</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_dsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/jn/data</value> </property> <property>

2019-08-20

5320

IDEA全程搭建第一个Scala Spark streaming maven工程

spark scala maven

既然要搭建maven工程，当然我们要在Project里面选择的是Maven而不是Scala.在Create from archetype打上勾，选择scala-archetype-simple.

2019-08-20

8070

提交第一个Spark统计文件单词数程序，配合hadoop hdfs

大数据 spark scala

先说明，这次我们用的还不是Spark streaming，而是从hadoop hdfs拿取文件，经过计算，再把结果放回hadoop hdfs.

2019-08-20

5740

scala java 编程算法 spark

RDD是一个抽象，会记录一些信息，他并不是一个真正的集合，但可以像集合一样操作，降低了开发难度。

2019-08-20

8160

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态