pyspark to_timestamp()返回空值
pyspark中的to_timestamp()函数用于将字符串转换为时间戳。然而，当输入的字符串无法解析为有效的时间戳时，to_timestamp()函数会返回空值。
to_timestamp()函数的语法如下：
to_timestamp(col, format=None)参数说明：
- col: 要转换为时间戳的列或表达式。
- format: 可选参数，指定输入字符串的格式。如果未指定格式，则to_timestamp()函数会尝试使用默认格式进行解析。
使用to_timestamp()函数时，需要注意以下几点：
- 输入的字符串必须符合指定的格式，否则无法成功转换为时间戳。
- 如果输入的字符串无法解析为有效的时间戳，to_timestamp()函数会返回空值（null）。
- 如果未指定format参数，to_timestamp()函数会尝试使用默认格式"yyyy-MM-dd HH:mm:ss"进行解析。
以下是to_timestamp()函数的一个示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import to_timestamp
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据
data = [("2022-01-01 12:00:00",), ("2022-02-01 00:00:00",), ("invalid_date",)]
df = spark.createDataFrame(data, ["timestamp_str"])
# 将字符串转换为时间戳
df = df.withColumn("timestamp", to_timestamp(df.timestamp_str))
# 显示结果
df.show()输出结果：
+-------------------+-------------------+
| timestamp_str| timestamp|
+-------------------+-------------------+
|2022-01-01 12:00:00|2022-01-01 12:00:00|
|2022-02-01 00:00:00|2022-02-01 00:00:00|
| invalid_date| null|
+-------------------+-------------------+在腾讯云的产品中，与时间戳相关的服务包括云数据库 TencentDB for MySQL、云数据库 TencentDB for PostgreSQL 等。这些数据库产品支持存储和查询时间戳数据，并提供了丰富的功能和工具来处理时间戳。你可以通过以下链接了解更多关于腾讯云数据库的信息：
相关·内容
我试过了：还有这个：df= df.withColumn("timestamp", col("Time").cast(TimestampType()))
但两者都返回空值。难道to_timestamp()不应该只起作用吗？
浏览 20提问于2019-10-22得票数 0
回答已采纳
1回答
我在pyspark dataframe中有一个列，它的格式是2021-10-28T22:19:03.0030059Z (字符串数据类型)。如何在pyspark中将其转换为时间戳数据类型？我正在使用下面的代码片段，但它返回空值，因为它无法转换它。有没有人能推荐一下如何转换这个？df3.select(to_timestamp(df.DateTime, 'yyyy-MM-ddHH:mm:ss:SSS').alias('dt'),col('DateTime
浏览 173提问于2021-11-05得票数 1
我正在将其转换为时间戳，但值正在更改。以下是我的代码，有没有人可以帮助我在不改变值的情况下进行转换。,"input_timestamp"])df = df.withColumn("timestamp",to_timestamp")) df.withColumn('timestamp_s
浏览 3提问于2021-09-28得票数 0
此强制转换操作应保留纳秒值。 通过指定时间戳格式，我尝试使用unix_timestamp()和to_timestamp()方法，但返回空值。
浏览 143提问于2019-06-24得票数 0
回答已采纳
2回答
这是我尝试过的：start_date= datetime.date.today()>>> Column<b'to_timestamp(`2020
浏览 22提问于2020-02-10得票数 1
我将日期字段作为字符串存储在单元表中，格式如下：例如：但是，我们看到了以下行为：查询、提取作为字符串存储的日期的正确方法是什么？
浏览 4提问于2020-06-12得票数 1
1回答
我正在尝试使用pyspark从表中提取一个值，我需要以下格式的值: 2020-06-17T15:08:24z df = spark.sql('select max(lastModDt)as lastModDatefrom db.tbl')
jobMetadata = existingMaxModifiedDate.withColumn("maxDate", date_format(to_timestamp(
浏览 16提问于2020-06-30得票数 1
回答已采纳
1回答
检查“空”时间戳值
、、、
我想检查一个字段是否有"null“值。如果是这样的话，我想用空值替换" NULL“。TO_COLLECTED_DATE_TIME",SQL Error [100035] [22007]: Timestamp 'null' is not recognized
如何在时间戳字段中检查相同的空值？
浏览 9提问于2022-02-21得票数 1
当DataFrame包含很多列时，我不知道如何在PySpark中进行插值。让我解释一下。from pyspark.sql.functions import to_timestamp
("John", "A", "20182017-06-04 01:11:00", 40),
], ("webID", "aType", "timestamp"
浏览 102提问于2020-12-01得票数 0
回答已采纳
我正在尝试将字符串格式的pyspark列转换为时间戳格式。Example data: 06/19/17 00:00:00
df = df.withColumn("date", to_timestamp(col("date"), "MM/dd/yyy
浏览 0提问于2020-11-13得票数 0
回答已采纳
当从csv转换为parquet时，使用AWS glue ETL作业跟随csv中的映射字段读取为字符串到日期和时间类型。
映射转换后，日期字段为空，时间与当天日期拼接
如何转换为合适的日期和时间格式？
浏览 5提问于2019-01-14得票数 2
回答已采纳
最初，我用-1填充了所有空值，以完成我在Pyspark中的联接。'Letter': ['A', '-1', 'B', 'A'],
| -1| B| 30|+------+------+-----+
在处理数据集之后，我需要将
浏览 6提问于2020-06-29得票数 5
回答已采纳
我正在尝试将sql版本的代码转换为pyspark版本。有一个要求，以分钟为单位的差异，从两个时间戳。date_time_opened, date_time_closed)) as avg_wait_timespark:我已经尝试了下面的spark代码来获得值，unix_timestamp(date_time_opened))/(60)) as INT)作为avg_wait_timeCAST(avg(((bigint(to_timestamp(d
浏览 1提问于2022-05-19得票数 0
1回答
我试着读取eventhub中的数据，但是结果是它只返回空值。nullable = true)|-- severity: double (nullable = true)from pyspark.sqlimport functions as FStringTypeimport from_json,
浏览 9提问于2022-01-05得票数 0
我有时间戳数据集，它的格式为+--------------------+>>> def on_time(ts_list):.../worker.py”，第172行，主进程()文件“/usr/lib/ main /python/pyspark/worker.py”，第167行，进程中的文件
浏览 4提问于2016-10-28得票数 32
1回答
已在下面尝试newDf= df.withColumn("newtimestamp", to_timestamp(col('timestamp'), "yyyy-MM-dd HH:mm:ss XXX")这将打印newtimesta
浏览 2提问于2021-02-17得票数 4
我正在用pyspark编写一个脚本，在那里我们正在进行数据转换。我正在使用contact_ws函数来联系值，而在做group by.The问题时，我面临的问题是如果concat_ws中的所有值都是null，而不是它将返回空白值。为了解决这个问题，当null函数中的所有值都是null时，我们需要有null值。
浏览 0提问于2019-07-25得票数 0
现在，我想我可以使用q1.withColumn("timestamp",to_timestamp("ts")) \ .show() ( q1是我的dataframe，ts是我们正在讨论的专栏)来将输入转换为DD/MM/YYYY :MM格式，但是返回的值仅为null。因此，我意识到我需要一个PySpark时间戳格式的输入(MM HH:mm:ss.SSSS)来将其转换为适当的时间戳。
浏览 6提问于2021-09-24得票数 0
回答已采纳
from pyspark.sql import SparkSessionfrom pyspark.sql import typesfrom pyspark.sql.functions import unix_timestamp, from_unixtime
from pyspark.sql.window import Window我的模式显示日期，并且它有字符串值。数据列中没有空值。###
浏览 32提问于2021-11-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
