我试过了：还有这个：df= df.withColumn("timestamp", col("Time").cast(TimestampType()))
但两者都返回空值。难道to_timestamp()不应该只起作用吗？
浏览 20提问于2019-10-22得票数 0
回答已采纳
1回答
我在pyspark dataframe中有一个列，它的格式是2021-10-28T22:19:03.0030059Z (字符串数据类型)。如何在pyspark中将其转换为时间戳数据类型？我正在使用下面的代码片段，但它返回空值，因为它无法转换它。有没有人能推荐一下如何转换这个？df3.select(to_timestamp(df.DateTime, 'yyyy-MM-ddHH:mm:ss:SSS').alias('dt'),col('DateTime
浏览 173提问于2021-11-05得票数 1
我正在将其转换为时间戳，但值正在更改。以下是我的代码，有没有人可以帮助我在不改变值的情况下进行转换。,"input_timestamp"])df = df.withColumn("timestamp",to_timestamp")) df.withColumn('timestamp_s
浏览 3提问于2021-09-28得票数 0
此强制转换操作应保留纳秒值。 通过指定时间戳格式，我尝试使用unix_timestamp()和to_timestamp()方法，但返回空值。
浏览 143提问于2019-06-24得票数 0
回答已采纳
2回答
这是我尝试过的：start_date= datetime.date.today()>>> Column<b'to_timestamp(`2020
浏览 22提问于2020-02-10得票数 1
我将日期字段作为字符串存储在单元表中，格式如下：例如：但是，我们看到了以下行为：查询、提取作为字符串存储的日期的正确方法是什么？
浏览 4提问于2020-06-12得票数 1
1回答
我正在尝试使用pyspark从表中提取一个值，我需要以下格式的值: 2020-06-17T15:08:24z df = spark.sql('select max(lastModDt)as lastModDatefrom db.tbl')
jobMetadata = existingMaxModifiedDate.withColumn("maxDate", date_format(to_timestamp(
浏览 16提问于2020-06-30得票数 1
回答已采纳
1回答
检查“空”时间戳值
、、、
我想检查一个字段是否有"null“值。如果是这样的话，我想用空值替换" NULL“。TO_COLLECTED_DATE_TIME",SQL Error [100035] [22007]: Timestamp 'null' is not recognized
如何在时间戳字段中检查相同的空值？
浏览 9提问于2022-02-21得票数 1
当DataFrame包含很多列时，我不知道如何在PySpark中进行插值。让我解释一下。from pyspark.sql.functions import to_timestamp
("John", "A", "20182017-06-04 01:11:00", 40),
], ("webID", "aType", "timestamp"
浏览 102提问于2020-12-01得票数 0
回答已采纳
我正在尝试将字符串格式的pyspark列转换为时间戳格式。Example data: 06/19/17 00:00:00
df = df.withColumn("date", to_timestamp(col("date"), "MM/dd/yyy
浏览 0提问于2020-11-13得票数 0
回答已采纳
当从csv转换为parquet时，使用AWS glue ETL作业跟随csv中的映射字段读取为字符串到日期和时间类型。
映射转换后，日期字段为空，时间与当天日期拼接
如何转换为合适的日期和时间格式？
浏览 5提问于2019-01-14得票数 2
回答已采纳
最初，我用-1填充了所有空值，以完成我在Pyspark中的联接。'Letter': ['A', '-1', 'B', 'A'],
| -1| B| 30|+------+------+-----+
在处理数据集之后，我需要将
浏览 6提问于2020-06-29得票数 5
回答已采纳
我正在尝试将sql版本的代码转换为pyspark版本。有一个要求，以分钟为单位的差异，从两个时间戳。date_time_opened, date_time_closed)) as avg_wait_timespark:我已经尝试了下面的spark代码来获得值，unix_timestamp(date_time_opened))/(60)) as INT)作为avg_wait_timeCAST(avg(((bigint(to_timestamp(d
浏览 1提问于2022-05-19得票数 0
1回答
我试着读取eventhub中的数据，但是结果是它只返回空值。nullable = true)|-- severity: double (nullable = true)from pyspark.sqlimport functions as FStringTypeimport from_json,
浏览 9提问于2022-01-05得票数 0
我有时间戳数据集，它的格式为+--------------------+>>> def on_time(ts_list):.../worker.py”，第172行，主进程()文件“/usr/lib/ main /python/pyspark/worker.py”，第167行，进程中的文件
浏览 4提问于2016-10-28得票数 32
1回答
已在下面尝试newDf= df.withColumn("newtimestamp", to_timestamp(col('timestamp'), "yyyy-MM-dd HH:mm:ss XXX")这将打印newtimesta
浏览 2提问于2021-02-17得票数 4
我正在用pyspark编写一个脚本，在那里我们正在进行数据转换。我正在使用contact_ws函数来联系值，而在做group by.The问题时，我面临的问题是如果concat_ws中的所有值都是null，而不是它将返回空白值。为了解决这个问题，当null函数中的所有值都是null时，我们需要有null值。
浏览 0提问于2019-07-25得票数 0
现在，我想我可以使用q1.withColumn("timestamp",to_timestamp("ts")) \ .show() ( q1是我的dataframe，ts是我们正在讨论的专栏)来将输入转换为DD/MM/YYYY :MM格式，但是返回的值仅为null。因此，我意识到我需要一个PySpark时间戳格式的输入(MM HH:mm:ss.SSSS)来将其转换为适当的时间戳。
浏览 6提问于2021-09-24得票数 0
回答已采纳
from pyspark.sql import SparkSessionfrom pyspark.sql import typesfrom pyspark.sql.functions import unix_timestamp, from_unixtime
from pyspark.sql.window import Window我的模式显示日期，并且它有字符串值。数据列中没有空值。###
浏览 32提问于2021-11-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
