spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON

比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

第一个参数:{"tablename":"dhzp","fields":["text1","text2"]}

第二个参数:{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

结果后台实际接收的参数是这样的:

tablename:dhzp fields:[text1 text2] tablename:dhzp111 fields:[text1_jcseg text2_jcseg]

没有把我的参数JSON参数当作一个整体,而是当作逗号或者空格分割了。这个问题该怎么解决呢?一般来说分俩步:

1.有双引号将整体包裹起来

2.包裹的双引号里面的内容需要加\转义

如下:

spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  "{\"tablename\":\"dhzp\",\"fields\":[\"text1\",\"text2\"]}" "{\"tablename\":\"dhzp111\",\"fields\":[\"text1_jcseg\",\"text2_jcseg\"]}"

后台接收的参数如下:

{"tablename":"dhzp","fields":["text1","text2"]} {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏calmound

Shell学习

输出 echo 变量 alue=“Theron”,value=100 只读变量readonly value="12345" 2 readonly value...

2536
来自专栏Ryan Miao

oracle表数据类型number对应java中BIgDecimal转int

oracle中id为number类型,在java获取id时用getBigDecimal 相匹配, 如果想转换成int,重写model中的getInt方法: 1 ...

2706
来自专栏小狼的世界

JavaScript 去除空格函数

return strToTrim.replace(/^\s+|\s+$/g,"")

1103
来自专栏MasiMaro 的技术博文

IF和SWITCH的原理

在C语言中,if和switch是条件分支的重要组成部分。if的功能是计算判断条件的值,根据返回的值的不同来决定跳转到哪个部分。值为真则跳转到if语句块中,否则跳...

1224
来自专栏决胜机器学习

PHP数据结构(三)——运用栈实现括号匹配

PHP数据结构(三)——运用栈实现括号匹配 (原创内容,转载请注明来源,谢谢) 栈在数据结构上是一种特殊的线性表,其限制是仅允许在表的一端进行插入和删除运算,...

3856
来自专栏Python小屋

当Python列表遇上复合赋值运算符+=

首先感谢集美大学蔡莉白老师发现这个问题并与我沟通交流,我在蔡老师提供的代码基础上又稍作扩展和补充。 对于列表x而言,x += y和x = x+y并不等价,在一定...

2633
来自专栏Crossin的编程教室

【Python 第56课】 正则表达式(2)

有同学问起昨天那段测试代码里的问题,我来简单说一下。 1. r"hi" 这里字符串前面加了r,是raw的意思,它表示对字符串不进行转义。为什么要加这个?你可以试...

2676
来自专栏思考的代码世界

Python基础学习00天

1113
来自专栏xiaoxi666的专栏

二分查找变种

该算法有很多版本,这里给出java中实现比较好的一种方式。其中,>>>为无符号右移。

582
来自专栏Go入门系列

Golang 入门系列(三)Go语言基础知识汇总

前面已经了 Go 环境的配置和初学Go时,容易遇到的坑,大家可以请查看前面的文章 https://www.cnblogs.com/zhangweizhong/c...

562

扫码关注云+社区