StreamingPro 支持Spark Structured Streaming
StreamingPro 支持Spark Structured Streaming
用户2936994
发布于 2018-08-27 10:54:58
发布于 2018-08-27 10:54:58
前言
Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro中他们之间则没太大区别，唯一能够体现出来的是，Structured Streaming 使得checkpoint真的进入实用阶段。
下载
假设我们都放在/tmp目录下
写逻辑
新建一个文件,/tmp/ss-test.json,内容如下：
{
"scalamaptojson": {
"desc": "测试",
"strategy": "spark",
"algorithm": [],
"ref": [
],
"compositor": [
{
"name": "ss.source.mock",
"params": [{"duration1":["1","2","3"]}]
},
{
"name": "ss.table",
"params": [{"tableName": "test"}]
},
{
"name": "ss.sql",
"params": [
{
"sql": "select value + 100 from test",
"outputTableName": "test2"
}
]
},
{
"name": "ss.output",
"params": [
{
"mode": "append",
"format": "console"
}
]
}
],
"configParams": {
}
}
}StreamingPro 现在支持短名称了，不用写那么冗长的package名。
- ss 开头指的是structrued streaming。
- batch 则是spark 批处理
- stream 则是 spark streaming
逻辑：
- 配置模拟数据
- 映射为表
- 使用SQL查询
- 输出(console)
如果是接的kafka,则配置如下即可：
{
"name": "ss.source",
"params": [{
"format":"kafka"
"kaka.bootstrap.servers":"host1:port1,host2:port2",
"subscribe":"topic1,topic2"
}]
}运行
./bin/spark-submit --class streaming.core.StreamingApp \
--master local[2] \
--name test \
/tmp/streamingpro-0.4.7-SNAPSHOT-online-2.0.2.jar \
-streaming.name test \
-streaming.platform ss \
-streaming.checkpoint file:///tmp/ss \
-streaming.job.file.path file:///tmp/ss-test.json本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2016.11.21 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
流计算 Oceanus
流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的企业级实时大数据分析平台，具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。