腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

张浩的专栏

大家好，这里是张浩的专栏。感兴趣的小伙伴可以关注我和订阅我的专栏哦。

专栏作者

27

文章

56827

阅读量

24

订阅数

Spark 中 Kafka Offset 管理

api spark kafka

Spark在spark-streaming-kafka-0-10的API中实现了对Kafka Offset提交的API，在Spark消费过消息之后，提交消费过消息的Offset到Kafka里面，在Spark重启后，可以继续消费没有消费的消息，实现Exactly once的语义。

2019-03-19

1.8K0

Spark 设置 Hadoop 的配置文件

hadoop spark xml 大数据

当我们在开发Spark应用程序的时候，没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件，每次都要写上hdfs://host:port/path如下图所示。

2019-01-25

4.5K0

Spark Streaming基于网络的词频统计

运行一个Netcat服务器 $ nc -lk 9999 编写Spark Streaming 应用程序 package spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2

2018-12-20

6060

Spark本地调试的使用Hive配置文件

在本地调试的时候发现把Hive的hive-site.xml放到项目的resources目录下，就可以让Spark读取hive-site.xml中的Hive的配置信息了。并且相关的HSQL可以直接执行在这个Hive之上，不会另外去生成metastore_db文件夹。

2018-12-05

2.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态