首页
学习
活动
专区
工具
TVP
发布

Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。
专栏作者
810
文章
1228384
阅读量
247
订阅数
社区版本idea查看继承关系的骚操作
大家都会被idea 的专业版注册码随时被禁,而且费用过高而困扰。浪尖一直都是用的社区版本,很多粉丝留言说社区版本没办法利用uml查看类的继承关系,今天浪尖就给大家分享一个适用于社区版本idea 的插件,很炫酷的查看类的继承关系,名字叫做 code iris。
Spark学习技巧
2020-07-03
2.6K0
spark streaming窗口及聚合操作后如何管理offset
对于spark streaming来说窗口操作之后,是无法管理offset的,因为offset的存储于HasOffsetRanges,只有kafkaRDD继承了该特质,经过转化的其他RDD都不支持了。所以无法通过其他RDD转化为HasOffsetRanges来获取offset,以便自己管理。
Spark学习技巧
2020-05-29
8370
一文精通flinkOnYarn
本文主要是讲解flink on yarn的部署过程,然后yarn-session的基本原理,如何启动多个yarn-session的话如何部署应用到指定的yarn-session上,然后是用户jar的管理配置及故障恢复相关的参数。
Spark学习技巧
2019-03-08
1.7K0
Java泛型详解——绝对是对泛型方法讲解最详细的,没有之一!
ArrayList可以存放任意类型,例子中添加了一个String类型,添加了一个Integer类型,再使用时都以String的方式使用,因此程序崩溃了。为了解决类似这样的问题(在编译阶段就可以解决),泛型应运而生。
Spark学习技巧
2018-08-01
3.4K0
重磅:Flume1-7结合kafka讲解
本文主要是将flume监控目录,文件,kafka Source,kafka sink,hdfs sink这几种生产中我们常用的flume+kafka+hadoop场景,希望帮助大家快速入生产。 flume只有一个角色agent,agent里都有三部分构成:source、channel和sink。就相当于source接收数据,通过channel传输数据,sink把数据写到下一端。这就完了,就这么简单。其中source有很多种可以选择,channel有很多种可以选择,sink也同样有多种可以选择,并且都支持
Spark学习技巧
2018-01-31
2.1K0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战,赢鹅厂证书、公仔好礼!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档