spark提交任务,参数的形式是JSON

spark提交任务,参数的形式是JSON

比如:spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  {"tablename":"dhzp","fields":["text1","text2"]}  {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

第一个参数:{"tablename":"dhzp","fields":["text1","text2"]}

第二个参数:{"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

结果后台实际接收的参数是这样的:

tablename:dhzp fields:[text1 text2] tablename:dhzp111 fields:[text1_jcseg text2_jcseg]

没有把我的参数JSON参数当作一个整体,而是当作逗号或者空格分割了。这个问题该怎么解决呢?一般来说分俩步:

1.有双引号将整体包裹起来

2.包裹的双引号里面的内容需要加\转义

如下:

spark2-submit --class com.iflytek.test.Jcseg_HiveDemo  spark_hive.jar  "{\"tablename\":\"dhzp\",\"fields\":[\"text1\",\"text2\"]}" "{\"tablename\":\"dhzp111\",\"fields\":[\"text1_jcseg\",\"text2_jcseg\"]}"

后台接收的参数如下:

{"tablename":"dhzp","fields":["text1","text2"]} {"tablename":"dhzp111","fields":["text1_jcseg","text2_jcseg"]}

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SnailTyan

Python中的编码

Python处理字符串,写文件时会碰到许多的编码问题,特别是涉及到中文的时候,非常烦人,但又不得不学。下面主要记录工作过程中碰到的Python编码问题。 1. ...

2146
来自专栏栗霖积跬步之旅

创建Task的多种方法

Gradle的Project从本质上说只是含有多个Task的容器,一个Task与Ant的Target相似,表示一个逻辑上的执行单元。 我们可以通过多种方式定义T...

3056
来自专栏Java学习网

Java Web中JSP中6种动作概况知识点总结——每日一语法学习

JSP动作利用XML语法格式的标记来控制Servlet引擎的行为。利用JSP动作可以动态地插入文件、重用JavaBean组件、把用户重定向到另外的页面、为Jav...

3804
来自专栏康怀帅的专栏

Bash 条件判断与流程控制相关语句详解

介绍 if case 等语句。 条件判断语句 字符串判断 str1 = str2    当两个字符串有相同内容、长度时为真 str1 != str2   当字符...

2674
来自专栏Java学习之路

02 Spring框架 简单配置和三种bean的创建方式

整理了一下之前学习Spring框架时候的一点笔记。如有错误欢迎指正,不喜勿喷。 上一节学习了如何搭建SpringIOC的环境,下一步我们就来讨论一下如何利...

3235
来自专栏云瓣

解读 IoC 框架 InversifyJS

InversityJS 是一个 IoC 框架。IoC(Inversion of Control) 包括依赖注入(Dependency Injection) 和依...

1092
来自专栏java初学

spring框架(1)— 依赖注入

46912
来自专栏QQ会员技术团队的专栏

有没有人告诉你—写时拷贝的真相

作者简介:梁少华,QQ动漫后台开发,腾讯高级工程师。从事后台开发4年多,参与过QQ秀、手Q红点系统、手Q游戏公会、QQ动漫等项目,有丰富的后台架构经验,擅长海...

29110
来自专栏一名合格java开发的自我修养

springMVC参数绑定

处理器形参中添加如下类型的参数处理注解适配器会默认识别并进行赋值。 1 HttpServletRequest 通过request对象获取请求信息 2 Htt...

1122
来自专栏日常分享

Spring 学习笔记(四)—— XML配置依赖注入

  依赖注入(DI)与控制反转(IoC)是同一个概念,都是为了处理对象间的依赖关系。

882

扫码关注云+社区

领取腾讯云代金券