首页
学习
活动
专区
工具
TVP
发布

Spark学习技巧

本公众号主要分享Spark使用及源码,spark 机器学习,图计算,同时会涉及到hadoop家族。
专栏成员
810
文章
1301424
阅读量
248
订阅数
Java几种常用 JSON 库性能比较,哪家最强?
链接:https://xncoding.com/2018/01/09/java/jsons.html
Spark学习技巧
2023-03-21
7370
基于Canal与Flink实现数据实时增量同步(一)
canal是阿里巴巴旗下的一款开源项目,纯Java开发。基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL(也支持mariaDB)。
Spark学习技巧
2020-09-08
2.4K0
spark比flink好用的点
开头还是那句话,spark是以批处理起家,发展流处理,所以微批处理吞吐优先,可以选用。
Spark学习技巧
2019-08-30
8310
经过性能对比,我发现温少的FastJson真牛。
JSON不管是在Web开发还是服务器开发中是相当常见的数据传输格式,一般情况我们对于JSON解析构造的性能并不需要过于关心,除非是在性能要求比较高的系统。
Spark学习技巧
2019-06-18
6.6K0
JDK中几个错误的调用方式
如果两个变量中间隔了比较长的其它代码,很可能会导致开发人员将两者混淆,导致逻辑认知错误,从而写出或改出有问题的代码。
Spark学习技巧
2019-06-18
1.3K0
重要|Flink SQL与kafka整合的那些事儿
flink与kafka整合是很常见的一种实时处理场景,尤其是kafka 0.11版本以后生产者支持了事务,使得flink与kafka整合能实现完整的端到端的仅一次处理,虽然这样会有checkpoint周期的数据延迟,但是这个仅一次处理也是很诱人的。可见的端到端的使用案例估计就是前段时间oppo的案例分享吧。关注浪尖微信公众号(bigdatatip)输入 oppo 即可获得。
Spark学习技巧
2019-06-03
3.1K0
Java如何优雅获取泛型类型
在 Java 开发中,获取泛型这种操作虽不是很常用,但有时确实必须的,比如 将Json 字符串反序列化成对象的时候。今天就来介绍这个操作。
Spark学习技巧
2019-05-21
2.5K0
Spark高级操作之json复杂和嵌套数据结构的操作一
一,基本介绍 本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数,帮助解决复杂嵌套的json数据格式,比如,map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。 下面几个是本文重点要讲的方法。 A),get_json_object() B),from_json() C),to_json() D),explode() E),selectExpr() 二,准备阶段 首先,创建一个没有任何嵌套的JSon Schema import
Spark学习技巧
2018-01-30
14.8K1
Spark高级操作之json复杂和嵌套数据结构的操作二
一,准备阶段 Json格式里面有map结构和嵌套json也是很合理的。本文将举例说明如何用spark解析包含复杂的嵌套数据结构,map。现实中的例子是,一个设备的检测事件,二氧化碳的安全你浓度,高温数据等,需要实时产生数据,然后及时的告警处理。 1,定义schema import org.apache.spark.sql.types._ val schema = new StructType() .add("dc_id", StringType)
Spark学习技巧
2018-01-30
8.7K1
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档