腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

绿巨人专栏

专栏作者

129

文章

157433

阅读量

44

订阅数

Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境

目标配置一个spark standalone集群 + akka + kafka + scala的开发环境。创建一个基于spark的scala工程，并在spark standalone的集群环境中运行。创建一个基于spark+akka的scala工程，并在spark standalone的集群环境中运行。创建一个基于spark+kafka的scala工程，并在spark standalone的集群环境中运行。集群框架图本图主要是说明各个组件可以发布到不同的逻辑机器上。 image.png 本

2018-05-18

1.1K0

Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用

前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境，我们已经部署好了一个Spark的开发环境。本文的目标是写一个Spark应用，并可以在集群中测试。创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件这个程序会进行MapReduce计算，

2018-05-18

6550

Spark集群 + Akka + Kafka + Scala 开发(3) : 开发一个Akka + Spark的应用

前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。本文的目标是写一个基于akka的scala工程，在一个spark standalone的集群环境中运行。 akka是什么？ akka的作用 akka的名字是action kernel的回文。根据官方定义：akka用于r

2018-05-18

1.1K0

Spark集群 + Akka + Kafka + Scala 开发(4) : 开发一个Kafka + Spark的应用

前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。本文的目标是写一个基于kafka的scala工程，在一个spark standalone的集群环境中运行。项目结构和文件说明说明这个工程包含了两个应用。一个Consumer应用：CusomerApp - 实现

2018-05-18

7980

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态