腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Spark
SQL
中
连接时间
戳
上
的
两个
表
sql
、
apache-spark
、
pyspark
、
apache-spark-sql
我正在尝试使用以下查询连接
两个
表
: results = sqlContext.
sql
('SELECT * \ ON a.ORIGIN = w.CALL_SIGN').cache() 我遇到了一个问题,即我不能在内部联接
中
引用airlines
表
。我尝试添加LATERAL关键字,希望
Spark
SQL<
浏览 13
提问于2020-07-09
得票数 1
0
回答
SQL
连接,其中第二个
表
中
的
值是第一个较低
的
值w.r.t第一个
表
sql
、
apache-spark-sql
假设我有
两个
表
,并且这
两个
表
都有一个包含各种事件
的
timestamp
的
列。这
两个
表
中
的
时间
戳
值不同,因为它们针对不同
的
事件。我希望连接这
两个
表
,以便在table2
上
使用第一个较低
的
时间
戳
连接table1
中
的
每条记录。 Join
浏览 8
提问于2017-06-14
得票数 0
回答已采纳
1
回答
如何在postgresql
中
连接不同行
中
的
时间
戳
?
postgresql
我正在寻找一种
在
两个
不同行
中
连接时间
戳
的
方法,例如,我有这个
表
:我希望它按工作日分组,并将min(start_hour)和max(start_hour)连接起来,得到如下所示
的
结果
浏览 0
提问于2017-11-16
得票数 0
2
回答
Apache不使用来自Hive分区外部
表
的
分区信息
apache-spark
、
hive
、
apache-spark-sql
我有一个简单
的
Hive外部
表
,它是
在
S3之上创建
的
(文件是CSV格式
的
)。当我运行hive查询时,它会显示所有记录和分区。但是,当我
在
Spark
中使用相同
的
表
时(
Spark
在
分区列上有一个where条件),它不会显示应用了分区筛选器。然而,对于Hive托管
表
,
Spark
可以使用分区信息并应用分区筛选器。是否有任何标志或设置可以帮助我使用星火中
的
浏览 0
提问于2019-08-24
得票数 3
2
回答
SQL
:将时间
戳
与纯时间参数匹配为组,并在多天内计数唯一
的
时间。
sql
、
datetime
、
pyspark
、
group-by
、
timestamp
使用
SQL
或Pyspark,我希望
在
两个
月
的
时间范围内计算时间
戳
中
的
唯一次数。我希望看到记录到
表
的
行
的
频率
的
分布情况。这是因为我知道有很大比例
的
时间
戳
的
时间是00:00:00,但我想知道与其他时间相比,时间
戳
的
比例有多大。 这个查询组和计数最常见
的
日期时间,但我需要排除日期,并且只有时间。co
浏览 5
提问于2021-05-17
得票数 0
回答已采纳
1
回答
无法使用
Spark
获取Delta Lake
表
的
元数据信息
scala
、
apache-spark
、
delta-lake
我正在尝试获取使用DataFrame创建
的
Delta Lake
表
的
元数据信息。有关版本、时间
戳
的
信息。已尝试:
spark
.
sql
("describe deltaSample").show(10,false) -这不提供与版本和时间
戳
相关
的
信息:+-------+|_c1 |string |null
浏览 21
提问于2019-07-23
得票数 0
2
回答
ORACLE连接
表
对单个字段和帐户
的
细微差异(提供了特定示例)
sql
、
oracle
我试图
在
一个字段(FILE_NAME)
上
连接
两个
表
;但是,其中一个
表
中
只有几条记录,其中时间
戳
附加在文件名
的
末尾和文件扩展名之前。我不知道该如何解释这些。我
的
示例
表
如下:FILE_NAME | FILE_IDTSM_INSAT.xml | 14FILE_NAME
浏览 0
提问于2017-08-12
得票数 0
回答已采纳
2
回答
为什么
Spark
dataframe
中
的
时间
戳
列
在
写入Hive
表
时发生了变化?
scala
、
apache-spark
、
hive
我试图使用JDBC读取Oracle
表
并将数据插入Hive
表
,但所有时间
戳
列
的
值都已更改(-6小时)。为什么会改变时间
戳
?* .builder .config("
浏览 3
提问于2019-11-08
得票数 1
1
回答
在
物理计划
中
执行交换和排序步骤
的
配置单元存储桶
表
apache-spark
、
hive
、
pyspark
、
apache-spark-sql
我有
两个
表
,它们都聚集
在
相同
的
列上,但是
在
连接聚集列上
的
两个
表
时,执行计划同时显示了交换和排序步骤。我希望
在</
浏览 1
提问于2019-06-12
得票数 1
1
回答
组合列Scala后获得错误
的
时间
戳
scala
、
apache-spark
当我试图将它转换为时间
戳
时,我得到
的
是错误
的
时间
戳
。这是我试过
的
密码。我试图转换
的
一个示例日期是: 1/1/2000 12:53上午
浏览 1
提问于2021-12-08
得票数 0
回答已采纳
1
回答
Spark
DataFrameWriter使用时间
戳
而不是日期时间
python
、
mysql
、
apache-spark
、
pyspark
、
mariadb
我正在将数据库从
SQL
Server迁移到MariaDB,但是遇到了MariaDB
的
时间
戳
范围限制
的
问题。我有一个填充数据库
的
PySpark项目,
在
覆盖模式下使用DataFrameWriter.jdbc()创建
表
。WHen与
SQL
Server一起工作时,
Spark
将自己
的
时间
戳
数据类型转换为
SQL
Server
的
DATETIME2数据类型,这种数据类型工作得很好
浏览 11
提问于2019-02-21
得票数 0
2
回答
对同一
表
的
时间
戳
在
hive-cli和presto-cli中有所不同。
hadoop
、
hive
、
presto
我得到了不同
的
时间
戳
为同一张桌子
在
蜂巢-cli和前-cli。'='2.4.0.7.1.4.0-203', || '
spark
.
sql
.sources.schema.numParts
在
mer_from_dttm
中
,存在时间差,但对于
浏览 7
提问于2021-07-07
得票数 2
4
回答
parquet
上
的
配置单元外部
表
未获取数据
apache-spark
、
hive
、
apache-spark-sql
、
hiveql
、
parquet
我正在尝试创建一个datapipeline,其中
的
收入数据被存储到拼图中,并且我创建了一个外部
的
hive
表
,用户可以查询hive
表
并检索数据,.I能够保存拼图数据并直接检索它,但是当我查询hive
表
时/emp’ 现在在一些数据
上
创建了dataframe并保存到parquet。("/test/emp")val sqlcontex
浏览 47
提问于2018-12-14
得票数 1
回答已采纳
2
回答
当
表
已经存在时,使用
spark
dataframe覆盖
表
失败
python
、
postgresql
、
apache-spark
、
pyspark
我正在尝试使用
spark
dataframe完全覆盖postgres
表
。为什么我
的
代码不能像预期
的
那样覆盖数据库
中
的
数据?我已经使用客户端检查了该
表
,并且它确实存在(这应该无关紧要)。而且里面也有数据。怎么了?这会不会是内存问题?at org.apache.
spark
.
sql
.execution.SparkPlan$$anonfun$execute$1.apply(SparkPlan.scala:127) at org.apa
浏览 2
提问于2019-12-13
得票数 1
1
回答
针对缓存
表
的
Spark
SQL
分区修剪
caching
、
apache-spark
、
partition
、
pruning
、
hivecontext
在
apache
spark
中
是否为缓存
的
TempTables启用分区修剪?如果是,我该如何配置它?val parquet = hc.read.parquet("/path_to_table/tablename&
浏览 21
提问于2017-02-10
得票数 0
1
回答
df.rdd.collect()将时间
戳
列(UTC)转换为pyspark
中
的
本地时区(IST
apache-spark
、
datetime
、
pyspark
spark
从MySQL读取一个
表
,该
表
有一个存储UTC时区值
的
时间
戳
列。
在
本地(IST)
中
配置
Spark
。MySQL存储以下时间
戳
值。df.show(100,False)
在
使用上面的conf之后,我
浏览 3
提问于2021-10-27
得票数 1
1
回答
返回
的
avro时间
戳
字段
上
的
hive外部
表
hive
、
apache-spark-sql
、
spark-avro
、
avro-tools
我有avro数据,它有一个列时间
戳
列,现在我试图
在
avro文件
的
基础
上
创建外部单元
表
,.Data保存在avro
中
,我希望avro逻辑类型
在
查询hive
表
时处理回时间
戳
的
转换。我怎样才能像预期
的
那样工作呢?PS :我使用
的
是
spark
2.3和databricks com.databrosight-avro_2.11
浏览 2
提问于2020-05-29
得票数 3
回答已采纳
1
回答
如何在从
SQL
Server读取数据时更改:
spark
.read.jdbc使用
的
默认时区
scala
、
jdbc
、
databricks
我使用
的
是Databricks Runtime 4.2 (包括Apache
Spark
2.3.1、Scala 2.11)val data_frame =val(,,) 我
的
源
表
上
的
所有
SQL
Server日期时间列都映射到数据框
中
的
时间
戳
列,默认时区为+0000。有
浏览 1
提问于2018-07-18
得票数 3
2
回答
星星之火
SQL
到蜂巢
表
-日期-时间域小时错误
python
、
apache-spark
、
hive
、
pyspark
我面临这样
的
问题:当我输入一个带有
spark
.
sql
数据
的
Hive时间
戳
字段时,时间被奇怪地更改为21:00:00!我有一个用
spark
.
sql
读取
的
csv文件。我读取该文件,将其转换为dataframe并将其存储
在
一个Hive
表
中
。此文件
中
的
一个字段是日期,格式为"3/10/2017“。我想输入
的
浏览 1
提问于2017-11-22
得票数 1
回答已采纳
2
回答
Databricks
SQL
错误:无法在内联
表
定义中计算表达式外部
python
、
sql
、
apache-spark-sql
、
azure-databricks
、
databricks-sql
我加入了
两个
表
,并试图获得
两个
时间
戳
字段
的
最大时间
戳
值。这是我
的
SQL
语句: rts.DataLakeModified_DateTime, ( AND rtt.STORE = rts.STORE但它有一个错误:
浏览 17
提问于2022-06-24
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教程:Apache Spark SQL入门及实践指南!
Spark On HBase
大数据hadoop和spark有什么区别?内附大数据Spark+Hadoop资料
HBaseSQL及分析-Phoenix&Spark
Spark之SparkSQL
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券