spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON

比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

第一个参数:{"tablename":"dhzp","fields":["text1","text2"]}

第二个参数:{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

结果后台实际接收的参数是这样的:

tablename:dhzp fields:[text1 text2] tablename:dhzp111 fields:[text1_jcseg text2_jcseg]

没有把我的参数JSON参数当作一个整体,而是当作逗号或者空格分割了。这个问题该怎么解决呢?一般来说分俩步:

1.有双引号将整体包裹起来

2.包裹的双引号里面的内容需要加\转义

如下:

spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  "{\"tablename\":\"dhzp\",\"fields\":[\"text1\",\"text2\"]}" "{\"tablename\":\"dhzp111\",\"fields\":[\"text1_jcseg\",\"text2_jcseg\"]}"

后台接收的参数如下:

{"tablename":"dhzp","fields":["text1","text2"]} {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习之tensorflow实战篇

python 生成内嵌式字典(dict)-案例从python提取内嵌json写入mongodb

从mongo查询利用python 读写如新的集合 import traceback, from gaode_hotel.conn_mongodb import ...

3305
来自专栏Python

python2.7 的中文编码处理,解决UnicodeEncodeError: 'ascii' codec can't encode character 问题

2752
来自专栏java 成神之路

Spring mvc DispatchServlet 实现机制

26110
来自专栏王亚昌的专栏

类静态指针的申请和释放

     如果类有一个静态成员指针变量,在进程中执行new或malloc操作分配了内存,进程退出前并不需要调用new或malloc,因为系统会自动进行释放。但这...

822
来自专栏JavaQ

深入理解Spring系列之十一:SpringMVC-@RequestBody接收json数据报415

网上对这个问题的分析及解决不是很深入,大部分并不能解决问题,而且内容基本相同,拿来主义把内容放在自己的博客上!本篇将深入Spring源码来分析问题出现的根本原因...

3479
来自专栏小狼的世界

bash中的字符串引用

bash中的字符串引用是一件很简单的事情,我们大多数人对此看一眼就能明了,但是今天这个技巧,也许能够帮你在未来节省不少时间。

461
来自专栏向治洪

史上最强Spring mvc入门

一、SpringMVC基础入门,创建一个HelloWorld程序   1.首先,导入SpringMVC需要的jar包。 ?   2.添加Web.xml配置...

28510
来自专栏Spring相关

第7章—SpringMVC高级技术—处理异常

不管发生什么事情,不管是好的还是坏的,Servlet请求的输出都是一个Servlet响应。如果在请求处理的时候,出现了异常,那它的输出依然会是Servlet响应...

964
来自专栏Java编程技术

常用开源框架中设计模式使用分析- 建造者模式(Builder Pattern)

建造者模式是一种创建型模式,将一个复制对象的创建屏蔽到接口内部,用户使用时候只需要传递固定的参数,内部就会执行复杂逻辑后返回会用户需要的对象,用户不需要知道创建...

631
来自专栏程序之美

基于session的国际化实现方式

532

扫码关注云+社区