如何在命令行中指定StreamingPro的写入路径

如何命令行指定输如输出的参数?

下面有个输出的例子:

{
        "name": "stream.outputs",
        "params": [
          {
            "name":"jack",
            "format": "jdbc",
            "path": "-",
            "driver":"com.mysql.jdbc.Driver",
            "url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",
            "inputTableName": "finalOutputTable",
            "user":"~",
            "password":"~",
            "dbtable":"~",
            "mode":"Overwrite"
          }
        ]
      }

其中dbtable 是按天建立的,也就是我每天见一个表,表后缀是时间譬如 20121111 这种。在StreamingPro中的处理方式很简单,只要是Source或者Ouput,那么所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的时候,只要如下即可:

SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar    \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///test.json 
-streaming.sql.out.jack.dbtable  aaa

最后一行就是让你指定变量的地方。 jack 是你的输出的名字,dbtable 则是你需要更改的变量。这样,默认写入的表名就是aaa了。

如何给SQL传递变量

其实batch.sql/stream.sql 也是可以传递变量的,比如:

{
        "name": "batch.sql",
        "params": [
          {
            "sql": "select * from test where a=:jack",
            "outputTableName": "finalOutputTable"
          }
        ]
      }

其中a 的值只有在启动的时候才知道,那么你可以通过参数

-streaming.sql.params.jack    william

来进行传递。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python攻城狮

Python操作redis

1 .用户登录首先判断是否在redis缓存中,如果在redis缓存中,直接登录成功; 2 .若用户未在redis缓存,则访问Mysql,判...

2213
来自专栏行者常至

Struts2.之HelloWorld简单演示

982
来自专栏爱撒谎的男孩

Struts2之动态调用

-在struts核心配置文件详解(action)中已经详细讲解了method的用法,使用这个方式可以指定Action类中的不同的方法映射请求,那么就完成了动态调...

3346
来自专栏Java3y

Struts2【配置】

前言 上篇Struts博文已经讲解了Struts的开发步骤以及执行流程了…..对Struts的配置文件有了了解…..本博文继续讲解Struts在配置的时候一些值...

2795
来自专栏开源优测

接口测试 23 requests基础入门二

概述 继续requests基础分享,本文主要分享以下内容: 请求头定制 POST请求 请求头定制示例 在requests中想要为请求添加自定义头信息,只需要简单...

2989
来自专栏编程思想之路

Android中资源各种引用方式?,@,@*等等

这几天做系统开发涉及到actionbar的style修改,要从framework层改,不知道?android:attr/是从哪儿引用的属性,给开发带来了很大的困...

2068
来自专栏自由而无用的灵魂的碎碎念

解决source insight 3.5遇到的parse too comples错误

我使用source insight 编写c,编写代码的时候,source insight的symbol windows可能会提示parse too comple...

1282
来自专栏逍遥剑客的游戏开发

Tiled源码分析(四): 插件机制

2377
来自专栏拂晓风起

Flash builder打包as actionscript代码,发布swc

1394
来自专栏Android干货园

Android Studio 运行项目遇到的错误

版权声明:本文为博主原创文章,转载请标明出处。 https://blog.csdn.net/lyhhj/article/details/47...

2265

扫码关注云+社区

领取腾讯云代金券