前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON

作者头像
用户1171305
发布2017-12-28 11:56:54
1.4K0
发布2017-12-28 11:56:54
举报
文章被收录于专栏:成长道路成长道路

spark提交任务,参数的形式是JSON

比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

第一个参数:{"tablename":"dhzp","fields":["text1","text2"]}

第二个参数:{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

结果后台实际接收的参数是这样的:

tablename:dhzp fields:[text1 text2] tablename:dhzp111 fields:[text1_jcseg text2_jcseg]

没有把我的参数JSON参数当作一个整体,而是当作逗号或者空格分割了。这个问题该怎么解决呢?一般来说分俩步:

1.有双引号将整体包裹起来

2.包裹的双引号里面的内容需要加\转义

如下:

spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  "{\"tablename\":\"dhzp\",\"fields\":[\"text1\",\"text2\"]}" "{\"tablename\":\"dhzp111\",\"fields\":[\"text1_jcseg\",\"text2_jcseg\"]}"

后台接收的参数如下:

{"tablename":"dhzp","fields":["text1","text2"]} {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-10-12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档