StreamingPro支持Flink的流式计算了

用户2936994

发布于 2018-08-27 11:43:14

1.2K0

发布于 2018-08-27 11:43:14

文章被收录于专栏：祝威廉祝威廉

前言

有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流式方面做得很棒，两者高层的API也是互相借鉴，容易形成统一的感官，所以决定让StreamingPro适配Flink,让其作为StreamingPro底层的流式引擎。

StreamingPro自身设计之初就是为了支持多引擎的，所以改造成本很低，昨天花了一下午，晚上加了会班就重构完了。这次增强可以让我司的流式引擎有了新的选择。

准备工作

下载安装包

为了跑起来，你需要下载一个flink的包，我用的是1.2.0版本的。

接着就是下载StreamingPro的 flink版本：

https://pan.baidu.com/s/1slCpxxV

启动flink

进入flink安装目录运行如下命令：

./bin/start-local.sh

之后写一个flink.json文件：

{
  "example": {
    "desc": "测试",
    "strategy": "flink",
    "algorithm": [],
    "ref": [],
    "compositor": [
      {
        "name": "flink.sources",
        "params": [
          {
            "format": "socket",
            "port": "9000",
            "outputTable": "test"
          }
        ]
      },
      {
        "name": "flink.sql",
        "params": [
          {
            "sql": "select * from test",
            "outputTableName": "finalOutputTable"
          }
        ]
      },
      {
        "name": "flink.outputs",
        "params": [
          {
            "name":"jack",
            "format": "console",
            "inputTableName": "finalOutputTable"
          }
        ]
      }
    ],
    "configParams": {
    }
  }
}

目前source 只支持 kafka/socket ，Sink则只支持console和csv。准备好这个文件你就可以提交任务了：

./bin/flink run  -c streaming.core.StreamingApp \ /Users/allwefantasy/streamingpro/streamingpro.flink-0.4.14-SNAPSHOT-online-1.2.0.jar 
-streaming.name god \
-streaming.platform flink_streaming \
-streaming.job.file.path file:///Users/allwefantasy/streamingpro/flink.json

然后皆可以了。

你也可以到localhost:8081 页面上提交你的任务。

WX20170321-104738@2x.png

后面的话

Flink目前在流式计算上对SQL支持有限，暂时还不支持Join，Agg等行为操作，这个和Spark相比较而言差距还比较大。不过我们很快会将Script暴露出来，可以让大家直接进行编程，主要利用其Table API。

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2017.03.21 ，如有侵权请联系 cloudcommunity@tencent.com 删除

其他

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

其他

登录后参与评论

0 条评论

热度