腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
spark
sql
中
使用
timerange
时
,
添加
带有
大小写
的
标签
?
、
、
我想为每个时间戳范围
添加
标签
。Error [22P02]: ERROR: invalid input syntax for integer: "2021-01-16 08:55:50" Position: 37 我应该如何修复我
的
查询以获得我想要
的
结果我
使用
spark
sql
来实现这一点 谢谢。
浏览 10
提问于2021-02-02
得票数 0
回答已采纳
1
回答
在
不更改列名
的
情况下创建PySpark数据框
、
、
、
我
使用
下面的CTAS命令
使用
SparkSQL创建表。FROM TBL1 在那之后,我正在
使用
下面的PySpark代码读取新创建
的
位置(TBL2)下面的文件。但是,下面的data frame仅
使用
lowercase
中
的
所有列名创建。而预期
的
结果是
在
camel case
中
,就像我在上面对CTAS所做
的
那样。df =
spark
.read.format('ORC'
浏览 12
提问于2019-12-23
得票数 1
回答已采纳
1
回答
火花数据格式MapType
中
不区分
大小写
的
匹配
使用
Spark
2.4.1,我试图以不区分
大小写
的
方式从MapType
中
获得一个键值,但是
spark
似乎不遵循
spark
.
sql
.caseSensitive=false。启动火花:
spark
-shell --conf
spark
.
sql
.caseSensitive=falseval df = List(Map("a" -> 1), Map("A&quo
浏览 0
提问于2019-05-23
得票数 0
1
回答
如何
使用
Hive1.2从s3
中
的
拼花文件
中
创建外部表?
、
、
、
我已经
在
Qubole(Hive)
中
创建了一个外部表,它从s3读取parquet(压缩: snappy)文件,但是
在
执行SELECT * table_name
时
,我将获得除分区列之外
的
所有列
的
空值。我尝试
在
SERDEPROPERTIES中
使用
不同
的
serialization.format值,但我仍然面临相同
的
问题。
在
删除属性'serialization.format' =
浏览 0
提问于2019-05-15
得票数 2
1
回答
由于ApplyMapping不区分
大小写
,如何确定需要哪些列?
、
、
、
我正在用一个新
的
数据库模型更新一个Pyspark脚本,我遇到了一些调用/更新列
的
问题,因为PySpark显然以大写形式提供了所有列,但是当我
使用
ApplyMapping
时
,它不区分
大小写
,但当我(左)连接另一个表
时
,它是区分
大小写
的
,并且我最终得到了多个具有相同名称
的
列,但其中一个是大写
的
,另一个是小写
的
,我想
使用
SelectFields函数。我尝试了与列完全相同
浏览 16
提问于2019-09-12
得票数 0
回答已采纳
1
回答
报表服务
中
的
参数时间/日期
、
、
、
、
我注意在报告服务
中
定义两个参数。选择两个日期之间
的
日期(最好是两个日历)来选择时间;我有3个所需
的
范围(08:00-15:59:59,16:00:00-23:59:59,00:00:00-07:59:59:59)。 有什么想法吗?
浏览 4
提问于2011-11-09
得票数 0
回答已采纳
2
回答
Dataframe to Oracle创建具有区分
大小写
列
的
表
、
火花: 2.1.1 当我
在
Oracle上
浏览 2
提问于2017-06-07
得票数 2
6
回答
将火花数据作为动态分区表保存在蜂巢
中
、
、
、
我有一个示例应用程序可以从csv文件
中
读取数据。可以
使用
df.saveAsTable(tablename,mode)方法以拼花格式将数据存储到Hive表
中
。上面的代码工作正常,但是我每天都有这么多
的
数据,所以我想根据creationdate(表
中
的
列)动态地划分hive表。 是否有任何方法来动态划分数据并将其存储到蜂窝仓库。希望避免
使用
hivesqlcontext.
sql
(insert into table partittioin by(date)..
浏览 7
提问于2015-07-10
得票数 41
回答已采纳
1
回答
AVFoundation播放连续视频片段
、
、
、
、
我正在开发一个iOS应用程序,它涉及从web服务器获取作为流一部分
的
视频片段,并在应用程序
中
连续播放。经过一些研究,我决定
使用
AVQueuePlayer。每次从服务器获取MP4文件并将其存储
在
NSData对象
中
时
,我都会创建一个AVPlayerItem并将其附加到队列
中
。我面临
的
问题是,每次我从一个电影片段前进到另一个片段
时
,都会有一个恼人
的
小滞后。我尝试
在
iMovie上组合这些片段,不可能知道片段
浏览 3
提问于2015-02-22
得票数 1
回答已采纳
1
回答
Dataproc:
使用
BigQuery读写数据
时
使用
PySpark
时
的
错误
、
、
、
我正在尝试从用户管理
的
朱庇特笔记本实例
中
读取一些BigQuery数据(ID:my-project.mydatabase.mytable原始名称受保护),
在
工作台中。我尝试
的
是
中
的
灵感,更具体地说,代码是(请阅读一些关于代码本身
的
附加注释):from pyspark.
sql
.functions
SQL
查询从BigQuery读取数据
时</e
浏览 15
提问于2022-08-09
得票数 1
回答已采纳
2
回答
区分
大小写
的
LINQtoSQL
中
的
Where子句?
、
、
我想
使用
LINQtoSQL检查
SQL
Server2005表
中
是否存在标记(区分
大小写
)。假设
标签
中
存在'BEYONCE‘
标签
,那么我希望可以再次
添加
'beyonce’或'BeYOnce‘,但不能
添加
'BEYONCE’。下面是我编写
的
LINQ查询:Where String.Equals(t.Tag, myTag, StringCo
浏览 0
提问于2009-06-28
得票数 3
回答已采纳
2
回答
Scala :将Dataset[Row]映射到Dataset[Row]
、
我正在尝试
使用
scala将
带有
数组
的
数据集转换为
带有
标签
和向量
的
数据集,然后再将其放入机器学习
中
。import org.apache.
spark
.ml.linalg.Vectors import org.apache.
spark
.ml.linalg.SQLDataTypes.VectorTypei
浏览 3
提问于2017-07-31
得票数 2
回答已采纳
3
回答
星火DataFrame列名称
在
sparkSQL和Submit
中
的
区分性
、
当我
在
星火壳(1.6版本)上查询数据
时
,列名是不区分
大小写
的
。>") a.filter($"NamE" <=> "andrew").count() 上述两项结果都给出了正确
的
计数但是,当我
在
jar
中
构建它并通过“火花-提交”运行时,下面的代码会失败,说明NamE不
浏览 6
提问于2016-12-10
得票数 6
回答已采纳
2
回答
火花结构流和过滤器
星星之火2.1,结构化流与原始计数(*),和(字段)是工作正常之上
的
地板文件,但过滤不起作用。scala> :pasteuserSchema: org.apache.
spark
.
sql
.types.StructType = StructType(StructField(caseId,St
浏览 0
提问于2017-07-31
得票数 6
回答已采纳
1
回答
具有区分
大小写
且未插入配置单元表
中
的
DataFrame
、
、
、
、
面对这样一种场景,其中dataframe区分
大小写
,并且
在
将该dataframe插入到hive表
中
时
,它会抛出错误,因为列不明确我们可以在运行时动态处理来自列
的
两个值而不抛出错误吗通过设置
spark
.set.conf("
spark
.
sql
.caseSensitive", "true")尝试了一个解决方案 但是,
在
添加
浏览 4
提问于2019-08-02
得票数 0
1
回答
Spark
中区分
大小写
的
拼图模式合并
、
我正在试着用
Spark
加载和分析一些镶木地板文件。我
使用
schemaMerge加载文件,因为较新
的
文件有一些额外
的
列。此外,一些文件
的
列名是小写
的
,而其他文件
的
列名是大写
的
。integer,我遇到了一个关于ParquetFileFormat类
的
inferSchema方法
的
问题。模式合并被委托给
spark
sql
的
StructTyp
浏览 23
提问于2019-07-31
得票数 4
回答已采纳
1
回答
模式类型与预期类型不兼容。
我已经读过其他相关
的
问题了,但我还没有得到答案。我尝试了两个简化
的
版本,语法看起来很正确。match { case _ => println('test2 ')} 我不明白为什么
在
添加
浏览 1
提问于2018-02-28
得票数 1
回答已采纳
1
回答
星星之火-
SQL
插入蜂箱
、
、
通过编程语言,我们可以
使用
蜂巢作为一个数据库。星星之火-
SQL
只是
使用
了单元设置(HDFS文件系统,Hiveserver2,Hiveserver2)。当我们调用/sbin/start-thriftserver2.sh (
在
火花安装
中
)
时
,我们应该给出hiveserver2端口号和主机名。然后,通过火花
的
直线,我们实际上可以创建,放下和操纵表格
在
蜂箱。API可以
浏览 5
提问于2021-07-30
得票数 0
回答已采纳
1
回答
从码头集装箱连接PySpark到Kafka
、
、
、
、
我有一个容器来运行代理,另一个容器运行pyspark程序,它应该连接到代理容器
中
的
kafka主题。如果我
在
本地膝上型计算机
中
运行了pyspark脚本,一切都运行得很完美,但是如果我试图
在
pyspark容器
中
运行相同
的
代码,则会得到以下错误: AnalysisException: Failed toapplication as per the deployment section of "Structured Streaming + Kafka Integrat
浏览 4
提问于2021-03-20
得票数 3
回答已采纳
4
回答
Zeppelin -无法
使用
%
sql
查询我
使用
pyspark注册
的
表
、
、
、
我是
spark
/zeppelin
的
新手,我想完成一个简单
的
练习,我将把一个csv文件从熊猫转换成
Spark
数据帧,然后注册表格,用
sql
查询它,并用Zeppelin可视化它。但我似乎
在
最后一步失败了。我
使用
的
是
Spark
1.6.1%pysparkprint <e
浏览 1
提问于2016-06-02
得票数 7
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
第八篇|Spark SQL百万级数据批量读写入MySQL
用sql写迭代算法-用spark sql划分连通图
教程:Apache Spark SQL入门及实践指南!
Spark 3.0重磅发布!开发近两年,流、Python、SQL重大更新全面解读
如何在 Hadoop 2.2.0 环境下使用 Spark 2.2.x
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券