腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Spark
SQL
-
处理
列名
中
的
双引号
apache-spark
、
pyspark
、
pyspark-sql
我有一个配置单元表,它
的
列名
类似于:column_"COLUMN_NAME" 我最初
的
查询如下。
spark
.
sql
("SELECT from_unixtime(unix_timestamp(substr(time, 1, 23), 'dd.MM.yyyy HH:mm:ss.SSS')) AS timestamp, cast(regexp_replace(column_"COLUMN_NAME"",',',&
浏览 125
提问于2019-02-26
得票数 4
回答已采纳
2
回答
AWS Glue
Spark
Job无法支持带
双引号
的
大写
列名
pyspark
、
aws-glue
、
aws-glue-data-catalog
、
data-lake
问题陈述/根本原因:我们正在使用AWS Glue将数据从生产PostGress数据库加载到AWS DataLake
中
。Glue在内部使用
Spark
job来移动数据。然而,我们
的
ETL过程失败了,因为
Spark
只支持小写
的
表
列名
称,不幸
的
是,我们所有的源PostGress表
列名
称都在CamelCase
中
,并用
双引号
括起来。例如:我们在PostGress DB
中
的
源表<em
浏览 6
提问于2019-09-25
得票数 2
2
回答
如何在
Spark
SQL
中表示名称
中
包含空格
的
列
apache-spark
、
apache-spark-sql
我们已经尝试过用括号[column name]、单引号和
双引号
以及反引号将
列名
括起来,但都不起作用。谢谢!
浏览 5
提问于2015-10-10
得票数 20
回答已采纳
1
回答
Impala能创建一个中文
列名
的
表吗?
impala
我试图在Impala-Shell
中
创建一个具有中文
列名
的
表,但是Impala似乎不接受这样
的
DDL。
sql
如下所示:并且Impala-shell会抱怨编号是一个无效
的
列名
。我是不是做错什么了,或者黑斑羚就是这样做
的
? P.S.我使用
的
是Impala CH
浏览 3
提问于2017-02-28
得票数 1
回答已采纳
1
回答
用python将“写入文本文件时”替换为&qout;
python
、
string
我正在从文本文件
中
读取
列名
列表,然后使用这些名称来使用pystache呈现
sql
模板,然后将呈现
的
模板写入
sql
文件。问题是,
列名
有时会有冒号,因此需要在查询中用
双引号
包围。
列名
文本文件示例:"column2:extra"我遇到了一个问题,在输出文件
中
,
双引号
被替换为“。with open(
sql
_in, 'r') as <
浏览 1
提问于2014-02-27
得票数 0
1
回答
在不更改
列名
的
情况下创建PySpark数据框
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
FROM TBL1 在那之后,我正在使用下面的PySpark代码读取新创建
的
位置(TBL2)下面的文件。但是,下面的data frame仅使用lowercase
中
的
所有
列名
创建。而预期
的
结果是在camel case
中
,就像我在上面对CTAS所做
的
那样。df =
spark
.read.format('ORC') \ .option(
浏览 12
提问于2019-12-23
得票数 1
回答已采纳
1
回答
Azure Synapse分析笔记本
中
数字
列名
的
PySpark缺少
列名
错误
pyspark
、
azure-synapse
在使用Azure Synapse
SQL
专用池作为数据源创建dataframe时,我遇到了这个问题。某些列具有数字
列名
,如"240“。我使用了scala
中
的
synapsesql连接器,然后使用
spark
.
sql
抓取数据帧到pyspark数据帧。即使我能够毫无问题地打印出数据帧
的
模式,尝试选择任何具有数字名称
的
列也会产生错误。该错误与与带有特殊字符
的
列名
相对应
的
空别名有关。我还不能确定这是一
浏览 25
提问于2021-09-06
得票数 1
1
回答
Spark
SQL
嵌套JSON错误“在输入时没有可行
的
替代方案”
apache-spark
、
apache-spark-sql
Spark
SQL
嵌套JSON错误: { "yyyData":{ "additionalData} }, "id":0, "data":null
浏览 19
提问于2019-06-02
得票数 0
1
回答
AnalysisException:无法解析给定
的
“Hello”输入列
python
、
sql
、
pyspark
、
apache-spark-sql
、
sql-insert
我正在尝试在一个表
中
插入一些数据,这些数据来自于调用变量
的
pyspark,但是当我运行它时,我会得到下面的错误。我
的
表定义为一列,该列
的
数据类型为string。我希望有人能回答这个问题,谢谢HORA = "Hello" INSERT INTO ws_fcd_analitica.cu_portafolio_fenix_bitacora_snap1
浏览 1
提问于2022-07-07
得票数 0
回答已采纳
2
回答
Spark
2.3.1 AWS EMR没有返回某些列
的
数据,但在雅典娜/Presto和频谱
中
工作
apache-spark
、
amazon-emr
上表
中
每一行
的
每个值都返回空。数据存储在拼板
中
。。
浏览 1
提问于2018-09-13
得票数 4
回答已采纳
1
回答
星星之火:如何将Dataset<Row>
中
的
列名
替换为新名称?
java
、
apache-spark
、
apache-spark-sql
我使用MongoDB作为JSON从
Spark
读取数据:import org.apache.
spark
.
sql
.Encoders;.... ..问题是,MongoDB
中
的
列名
之一是Timestamp,它是Hive
中
的
一个保留字。因此,来自Mo
浏览 0
提问于2018-09-18
得票数 0
回答已采纳
5
回答
如何从配置单元外部表创建数据帧
hadoop
、
apache-spark
、
dataframe
、
hive
、
apache-spark-sql
我们喜欢在Hive外部表
的
顶部创建数据帧,并使用hive模式和数据进行
spark
级别的计算。 我们是否可以从hive外部表
中
获取模式并将其用作Dataframe模式。
浏览 69
提问于2017-05-11
得票数 1
回答已采纳
1
回答
N列m行
的
动态数据帧
scala
、
apache-spark
示例数据帧:import
spark
.implicits._ (1, "ABC"), (3, "GHIJ")someDF: org.apache.
spark
.
sql
.DataFrame需要在后续流程
浏览 6
提问于2020-06-04
得票数 0
回答已采纳
1
回答
选择某些
列名
的
R
sql
查询正在将
列名
返回为dataframe值。
sql
、
r
、
jdbc
、
hana
、
rjdbc
当我在R
中
从HANA
中
运行
sql
查询时,数据将正确返回。
sql
<- "SELECT TOP 10 * ')给出两列,每个列
的
内容向下读取SalesOffice和Calend
浏览 0
提问于2019-10-30
得票数 0
1
回答
为什么udf调用dataframe不起作用?
scala
、
apache-spark
,它将df
中
的
"color“列替换为字符串长度:我将udf引用保存为性能,如下所示:当我在执行select时尝试
处理
udf时,如果我没有任何其他
列名
,它就会工作:+----------++----------
浏览 0
提问于2018-11-06
得票数 2
回答已采纳
1
回答
PySpark Count () CASE WHEN [duplicate]
这个问题在这里已经有答案了 : 如何在
Spark
SQL
中使用连字符转义
列名
(3个答案)
列名
中
包含破折号/连字符
的
PySpark
Sql
(1个答案) 使用selectExpr选择其中包含特殊字符
的
spark
dataframe列 (1个答案) 如何在SparkContext
中
处理
dash
的
SQL
请求 (1个答案) 3个月前就关门了。FROM
浏览 70
提问于2020-11-30
得票数 0
2
回答
星星之火中
的
重复
列名
读为csv
java
、
apache-spark-sql
我读了csv文件,它有一个重复
的
列。重复
的
列名
是NU_CPTE。|CD_EVT_FINANCIER|TYP_MVT_ELTR|DT_OPERN_CLI|LI_MVT_ELTR| MT_OPERN_FINC|FLSENS|NU_C
浏览 0
提问于2019-06-04
得票数 2
2
回答
向CSV导出数据时
处理
双引号
dataframe
、
scala
、
apache-spark
、
databricks
我有一个包含
双引号
(")和逗号
的
数据格式。我试图将数据输出到csv
中
,但不幸
的
是,
双引号
在导出
的
csv
中
没有正确显示。import org.apach
浏览 15
提问于2022-11-11
得票数 0
回答已采纳
2
回答
在进行查询时显示
列名
apache-spark
我使用
spark
-
sql
运行
sql
,但它只显示结果集,但没有显示相应
的
列名
。
spark
-
sql
>select a, b from c limit 1;1 2a b 1 2
浏览 1
提问于2019-05-16
得票数 1
回答已采纳
1
回答
ORMLite和甲骨文区分大小写
的
列名
oracle
、
ormlite
现在,我决定尝试在Oracle上使用它,但注意到了
列名
区分大小写
的
问题。当使用TableUtils.createTableIfNotExists()时,它似乎生成了用
双引号
包装表和
列名
的
CREATE语句。"T_SUBURB“("id”数值,"description“VARCHAR2(255) NULL,"gnaf”VARCHAR2(255),主键("id") 这意味着,当我试图查询Oracle
SQL
Developer<e
浏览 3
提问于2013-03-07
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python笔记22-literal_eval函数处理返回json中的单双引号
按图索骥:SQL中数据倾斜问题的处理思路与方法
数据库基础(三)
使用Spark将本地文件读取并封装为DataFrame的完整指南
一文读懂PySpark数据框
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券