1回答
我想了解在spark SQL中解决与日期相关的问题的最佳方法。df2 = spark.read.option("header","true").csv("dateCount").toDF("date","count")
df2.createOrReplaceTempView("datecount")
浏览 12提问于2018-08-30得票数 1
回答已采纳
，它应该会生成2020-01-31 06:33:15.0，但是当我尝试此代码时，它会生成2020-01-31 07:33:15.0 似乎to_timestamp函数使用的是系统的本地时区，我甚至尝试将spark时区设置为 spark.conf.set("spark.sql.session.timeZone", "UTC") 但是这也不起作用，有没有一种方法可以让这段代码始终转换为UTC时间戳，而不管它运行在什么环境
浏览 45提问于2021-01-05得票数 1
回答已采纳
我希望确保删除所有早于当前系统周编号的数据任何有关如何获取系统信息以进行比较的提示都将有所帮助 我可以在spark中看到系统日期和周数，但不是上面的格式。
浏览 84提问于2020-09-18得票数 0
回答已采纳
1回答
假设我有一个像这样的火花Dataset：scala> case class Event(id: Int, date: Date, name: String但是，我无法让前一个选项与Date类型一起工作。Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits
浏览 1提问于2016-08-05得票数 8
回答已采纳
我有一个在列中包含时间戳的PySpark数据帧(称为列'dt')，如下所示：2018-03-06 22:18:00SELECT trunc(dt, 'day') as day2018-04-07 00:00:00但是我得到了：null
浏览 2提问于2018-04-21得票数 8
回答已采纳
有没有办法在Spark中强制转换列，并在类型不匹配的情况下让它失败，而不是返回null？| service| eventType|process_date|+----------+------------+------------+
如果我尝试使用主cast函数df.withCo
浏览 15提问于2020-11-12得票数 0
(Py)火花to_date转换31-DEC-98到2098-12-31.有没有办法让它在1998-12-31？ .option("header", "true")\
.option(&
浏览 13提问于2022-02-19得票数 1
回答已采纳
val d = sqlContext.sql("select max(date), id from myTable group By id")
如何在不注册临时表的情况下对DataFrame执行相同的查询
浏览 2提问于2016-05-20得票数 4
回答已采纳
1回答
现在，我希望使用dataframe从该列中获得工作日编号(1到7)，而不是使用星星之火的sql。就像下面我在python和sql中找到了一个，但在scala中没有找到。有人能帮我吗sqlContext.sql("select date_format(to_date('2017-01-01'),'W') as week")
浏览 0提问于2018-05-02得票数 0
回答已采纳
2回答
我有一个Spark data frame (Scala API)，其中包含一个名为transfer date的列，日期是string格式，格式是24-JUL-17。
我想把它转换成日期字符串和时间戳。
浏览 0提问于2017-07-24得票数 4
1回答
它看起来是这样的：1 1 2020-02-01 some data2 2020-03-01 some data4 4 2020-05-01 some data date program start_time end_time
0 2020-
浏览 11提问于2021-06-03得票数 0
回答已采纳
from pyspark.sql.functions import to_date, unix_timestamp, from_unixtimedf2 = df.select('date_str', to_date(from_unixtime(unix_timestamp(
浏览 5提问于2020-06-26得票数 13
1回答
日期转换SCALA
、、、、
.withColumn("birthdate",when(col("birthday").isNotNull,to_date(col("birthday"),"MM/dd/YYYY")).otherwise(null))
我有一个字符串"01/01/1990“，但是当我使用to_date(”生日“)、”MM/dd/YYYY“时，它就变成了1990-01-01。是否有任何方法将字符串转换为date</em
浏览 2提问于2020-02-11得票数 1
回答已采纳
1回答
我可以执行如下操作：
//Dataset[(Date,Int)] where the Int in the two从分组数据集中，我想派生出
浏览 1提问于2018-08-24得票数 2
2回答
在下面的Scala Spark代码中，我需要找到不同列的值的计数及其百分比。为此，我需要对每一列使用withColumn方法，比如date、usage、payment、dateFinal、usageFinal、paymentFinal。new ListBuffer[String]()
val sqlContext = spark1
浏览 9提问于2019-01-24得票数 3
回答已采纳
我想做的是：SELECT DISTINCT ...,to_date(date) as Date
,substring(timestamp,12,
浏览 3提问于2019-11-19得票数 1
('filtertable')
SELECT * FROM filtertable WHERE qflag IS NULL
temp_max = spark.sql(""" SELECT date, station, value FROM filtertable WHERE (observat
浏览 0提问于2018-10-11得票数 4
1回答
我有一个带有DATE_KEY列的Spark临时表spark_tmp_view。我正在尝试创建一个Hive表(不将临时表写入拼花地板位置。我尝试运行的是spark.sql("CREATE EXTERNAL TABLE IF NOT EXISTS mydb.result AS SELECT * FROM spark_tmp_view PARTITIONEDBY(DATE_KEY DATE)") 我得到的错误是我试图搜索mismatche
浏览 18提问于2020-10-02得票数 0
我觉得比较简单的问题。试图将整数列转换为时代时间(MM/DD/YYY)？有什么建议吗？
浏览 2提问于2021-08-02得票数 0
回答已采纳
2回答
输出.+----------+---------+-----++----------+---------+-----+
|2017-04($
浏览 3提问于2017-06-27得票数 7
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
