腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

程序萌部落

个人博客请访问 www.cxmoe.com，自19年8月起搬迁至此。

专栏作者

130

文章

290630

阅读量

27

订阅数

IDEA中运行Topology

jar 打包 java

storm.yaml文件中的seeds选项不能与host同时存在如果同时存在，则storm运行时会出错：提交任务找不到主类等等

2019-08-08

7300

远程IDEA调试Storm

jar 打包 java

现在IDEA编译成功topo后，使用WinSCP将打包好的包传到主节点注意：打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

2019-08-08

1.5K0

提交Spark任务的三种方式

ide 打包 spark jar

在使用Spark的过程中，一般都会经历调试，提交任务等等环节，如果每个环节都可以确认程序的输入结果，那么无疑对加快代码的调试起了很大的作用，现在，借助IDEA可以非常快捷方便的对Spark代码进行调试，在借助IDEA来完成Spark时，可以大致通过以下几个步骤来完成：

2019-08-08

5.3K0

IDEA如何在项目中快速添加Maven依赖

maven jar spark 编程算法

在日常项目开发中，组件的引入是很平常的事情，一般来说，我们的项目由Maven构建，然后在需要新引入一个依赖时，只需在pom.xml中添加依赖描述即可，但是，有时我们的项目未必采用Maven构建，比如Spark项目就多采用sbt，或者直接添加jar包的方式，这时，如果需要添加某个外部依赖如果采用添加jar包的方式就会非常繁琐，不过IDEA为我们提供了方便的添加方式。

2019-08-08

12K0

Flume、Kafka、Storm如何结合使用

如何仔细阅读过关于Flume、Kafka、Storm的介绍，就会知道，在他们各自之间对外交互发送消息的原理。在后面的例子中，主要对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Storm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出。

2019-08-08

9100

Hadoop集群运行时问题

hadoop 大数据 node.js jar 分布式

有hadoop01-04 四个节点，现在只开hadoop01，只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件将hadoop01加入，即之前没有hadoop01，表明master节点只有namenode，没有datanode，现在将datanode让之启动，就可以使master有双重身份其他配置，其他节点的配置，均不改以上类似伪分布式，但是更灵活，本身为完全分布式状态，只运行hadoop01时即为节点缺省状态，当其他节点运行时，不用任何改动即可以成为一个集群。完。

2019-08-08

7250

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态