StreamingPro 可以暴露出原生API给大家使用

用户2936994

发布于 2018-08-27 11:42:54

2590

发布于 2018-08-27 11:42:54

文章被收录于专栏：祝威廉祝威廉

我们知道StreamingPro 是一个完全SQL/Script化的，基于Spark平台的一套生产力工具。但是不可避免的，我们可能希望直接操作SqlContext或者使用原生的DataFrame API。这里我们通过script 让大家支持这个功能：

{
        "name": "batch.script.df",
        "params": [
          {
            "script": "context.sql(\"select a as t from test\").registerTempTable(\"finalOutputTable\")",
            "source": "-"
          }
        ]
      }

在这个模块里，你可以访问任何一张已经注册的表。并且经过处理后注册一张新的表。给了大家无线的灵活性。

如果source 设置为file,script 填写的是文件路径的话，那么就不用在json文件里写脚本了。

这里给大家一个完整的例子：

{
  "batch-console": {
    "desc": "测试",
    "strategy": "spark",
    "algorithm": [],
    "ref": [],
    "compositor": [
      {
        "name": "batch.sources",
        "params": [
          {
            "path": "file:///tmp/hdfsfile/abc.txt",
            "format": "json",
            "outputTable": "test"

          }
        ]
      },
      {
        "name": "batch.script.df",
        "params": [
          {
            "script": "context.sql(\"select a as t from test\").registerTempTable(\"finalOutputTable\")",
            "source": "-"
          }
        ]
      },
      {
        "name": "batch.outputs",
        "params": [
          {
            "name":"jack",
            "format": "console",
            "path": "-",
            "inputTableName": "finalOutputTable",
            "mode":"Overwrite"
          }
        ]
      }
    ],
    "configParams": {
    }
  }
}

另外，对于输出，我们也可以控制文件数目：

{
        "name": "batch.outputs",
        "params": [
          {
            "name": "jack",
            "format": "json",
            "path": "file:///tmp/batch-console",
            "outputFileNum": "3",
            "inputTableName": "finalOutputTable",
            "mode": "Overwrite"
          }
        ]
      }

其中 outputFileNum 就是你最后的输出文件数。你也可以通过batch.script.df 模块控制输出的文件数。无非就是df.repartion(3).registerTable("finalOutputTable") 即可达成。

下载地址：StreamingPro

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2017.03.16 ，如有侵权请联系 cloudcommunity@tencent.com 删除

api