pyspark将unix时间转换为日期
Pyspark是一个基于Python的Spark编程接口，用于处理大规模数据集的分布式计算。它提供了丰富的函数库和工具，可以进行数据处理、分析和机器学习等任务。
Unix时间指的是从1970年1月1日00:00:00 UTC到现在的秒数。在Pyspark中，可以使用from_unixtime函数将Unix时间转换为日期。该函数接受两个参数：Unix时间戳和日期格式。以下是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import from_unixtime
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据集
data = [(1609459200,), (1609545600,), (1609632000,)]
df = spark.createDataFrame(data, ["unix_time"])
# 将Unix时间转换为日期
df = df.withColumn("date", from_unixtime("unix_time", "yyyy-MM-dd"))
# 显示结果
df.show()上述代码中，我们首先创建了一个SparkSession对象，然后创建了一个包含Unix时间戳的DataFrame。接下来，使用withColumn函数和from_unixtime函数将Unix时间转换为日期，并将结果保存在名为"date"的新列中。最后，使用show函数显示转换后的结果。
关于Pyspark和Unix时间转换的更多信息，您可以参考腾讯云的相关产品和文档：
相关·内容
我尝试从加载的json文件中读取自定义时间戳：
{"positionmessage":{"callsign": "PPH1", "name": "testschip-10", "mmsi": 100,"timestamplast": "2019-08-01T00:00:08Z"}}
{"positionmessage":{"callsign": "PPH2", "name": "testschip
浏览 2提问于2020-05-20得票数 0
回答已采纳
我正在尝试弄清楚，如何使用Pyspark sql从日期时间值中提取日期。
日期时间值如下所示：
DateTime
2018-05-21T00:00:00.000-04:00
2016-02-22T02:00:02.234-06:00
当我现在将其加载到spark数据帧中并尝试提取日期时(通过
Date() or
Timestamp() and then Date()
我总是得到这样的错误:需要一个日期或时间戳值，但提供了一个DateTime值。
有人能帮我从这个值中检索日期吗？我认为，您需要为此提供一个时区-但由于我已经在提取日期时遇到了问题，所以我首先想解决这个问题。
谢谢你，并致以良好的问
浏览 1提问于2018-08-16得票数 20
4回答
我的数据在pyspark ('pyspark.sql.dataframe.DataFrame')中。其中一列以Twitter字符串格式存储日期时间。
我为python找到了几个解决方案，但是没有具体的解决方案。
这是列的样子。
+------------------------------+----+
|created_at(string format) |date|
+------------------------------+----+
|Tue Mar 26 02:29:54 +0000 2019|null|
|Tue Mar 26 02:29:54 +0000
浏览 0提问于2019-05-03得票数 1
回答已采纳
我将unix time转换为可读的日期/时间字符串。我发现，转换结果有时似乎是不正确的，特别是在2017年12月31日。因此，我使用Python进行了两次检查：
ut1 = 1514696352860
#python
print('Use Python:', datetime.fromtimestamp(ut1/1000).strftime('%Y-%m-%d %H:%M:%S'))
# pyspark
time_df = spark.createDataFrame(pd.DataFrame({'unix_time': [ut1]}))
pri
浏览 2提问于2018-02-22得票数 2
回答已采纳
-I我是pyspark的新手，我正在尝试删除空格，在我尝试将日期字符串类型转换为未转换的DateTime格式后，我不会被删除。请教我怎么做。
我试过这个：
emp=spark.read.csv("Downloads/dataset2/employees.csv",header=True)
dd=list(map(lambda x: x.replace(" ",""),emp.columns))
df=emp.toDF(*dd)
+----------+---------+-----------+--------------------+-
浏览 5提问于2019-10-25得票数 0
我是新来的火花，PySpark说得更具体一点。我有一张看起来像
col_1 | col_2 | col_3
apple | red | 2016-01-28 00:56:55
banana | yellow | 2011-01-14 10:26:33.231
我有一个函数convert()，它将像2016-01-28 00:56:55这样的日期时间字符串(可能有毫秒也可能没有毫秒)转换为表示datetime的浮点数，比如1453971415。将这个函数应用于我的col_3的PySpark方法是什么，所以col_3中的所有时间戳都是unix？
浏览 4提问于2020-10-01得票数 0
回答已采纳
我有一篇专栏文章，内容包括“2018年1月”、“2019年3月”、“2016年12月”。我想把这个转换成日期类型(MMM yyyy)。当我使用pyspark进行时，dataframe结果还包括类似于日期(2018-1)。怎样才能摆脱约会？
from pyspark.sql import SparkSession
from pyspark import SparkContext, SparkConf
from pyspark.sql.functions import to_date
conf = SparkConf().setMaster("local").setAppNam
浏览 2提问于2020-05-01得票数 0
回答已采纳
2回答
你会怎么做？数据库4.1，Spark 2.3
您将得到一个两列dataframe: 1)‘dt’，string，如图所示。2)‘tm’字符串，如图所示。我为这篇文章增加了第三栏。
您的工作是创建第3列、‘dttm’、时间戳、格式化、前导零、精度和时区，而不像id正确组合‘dt’和‘tm’那么重要。
我在这篇文章中使用了PySpark，但我并没有和它结婚。
df1 = sqlContext.createDataFrame(
[
('2018-06-02T00:00:00','12:30:00 AM', '06-02-2018 00:30:00
浏览 0提问于2018-12-11得票数 3
回答已采纳
我正在尝试将csv文件读取到数据帧中，csv fileThe csv文件如下所示。 ? 单元格值仅包含小时信息和缺少日期信息。我想将这个csv文件读入数据帧，并将计时信息转换为类似2021-05-07 04:04.00的格式，即，我想添加日期信息。如何做到这一点呢？ 我使用了以下代码，但似乎pyspark只是将日期信息添加为1970-01-01，这是一种系统设置。 spark = SparkSession.builder.getOrCreate()
spark.conf.set("spark.sql.legacy.timeParserPolicy","LEGA
浏览 85提问于2021-05-08得票数 0
回答已采纳
我正在对Spark Structured Streaming进行基于窗口的排序： val filterWindow: WindowSpec = Window
.partitionBy("key")
.orderBy($"time")
controlDataFrame=controlDataFrame.withColumn("Make Coffee", $"value").
withColumn("datetime", date_trunc("second", current_
浏览 181提问于2021-11-22得票数 0
回答已采纳
我想在给定的日期上添加任意天数，例如，我想在今天的日期上添加一天。 我有一个这样的数据帧： ------------
| date |
------------
|2020-10-01|
------------ 我想得到这样的数据帧： ------------
| date |
------------
|2020-10-02|
------------ 真正的代码被包裹在一个复杂的sql查询中，然后只有SQL语句才能得到有效的结果。 我试过这段代码，它试图得到今天的第二天，但由于date和int类型之间的差异，它不起作用，我想我正在寻找类似于python timedelt
浏览 9提问于2020-10-20得票数 0
回答已采纳
我正在尝试从一个简单的Pandas DataFrame构建一个火花DataFrame。这是我遵循的步骤。
import pandas as pd
pandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})
spark_df = sqlContext.createDataFrame(pandas_df)
spark_df.printSchema()
直到这一点，一切都好。产出如下：
根部
-字符串(nullable = true)
当我试图打印DataFrame时，问题就来了：
浏览 0提问于2019-02-14得票数 12
回答已采纳
3回答
两个数组成员的乘法
、、、、
我有下表： from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
cols = [ 'a1', 'a2']
data = [([2, 3], [4, 5]),
([1, 3], [2, 4])]
df = spark.createDataFrame(data, cols)
df.show()
# +------+------+
# | a1| a2|
# +------+----
浏览 43提问于2021-06-28得票数 2
回答已采纳
我对火花和火花很陌生，刚开始使用火花2.0。我试图将服务器上的时间戳( POSIX/Unix格式)转换为常规日期(如yyyy& time)，但无法这样做。我使用了以下两个命令：
df_new = df.withColumn('fromTimestamp', f.from_unixtime(df['timestamp'], 'yyyy-mm-dd HH:mm:ss'))
和
df.select("timestamp",from_unixtime(f.col("timestamp"))).show()
其中
浏览 8提问于2021-03-03得票数 1
回答已采纳
2回答
在PySpark中使用微秒时间戳
、、、、
我有一个时间格式为20190111-08:15:45.275753的pyspark数据帧。我想把它转换成时间戳格式，保持微秒的粒度。然而，似乎很难保持微秒，因为在pyspark中的所有时间转换都会产生秒？
你有关于如何做到这一点的线索吗？请注意，将其转换为pandas等不会起作用，因为数据集很大，所以我需要一种有效的方法来实现这一点。下面是我如何做到这一点的示例
time_df = spark.createDataFrame([('20150408-01:12:04.275753',)], ['dt'])
res = time_df.withColumn(
浏览 0提问于2019-01-17得票数 4
1回答
我正试图在现有的数据文件中合并一行。我有以下模式的现有数据:-
StructType(List(StructField(date,TimestampType,true),
StructField(time,StringType,>true),
StructField(size,IntegerType,true),
StructField(r_version,StringType,true),
StructField(r_arch,StringType,true),
浏览 2提问于2017-07-12得票数 0
我想解析一个excel文件。这个文件有几个字段值作为时间戳格式("dd-MMM-yy hh:mm:ss:SSSSSSSSS aa")我已经将字段类型定义为时间戳，但是我的应用程序无法识别数据类型并且无法加载数据，尽管如果我使用StringType作为数据类型，那么它可以解析文件，但我不想使用这种替代方法。因此，寻找正确的解决方案。我的代码如下：
ReadExcel("C:path\to\the\raw_file\Consignments.xlsx", "A1", MySchema, spark, "dd-MM-yyyy", &#
浏览 1提问于2019-10-05得票数 3
我需要插入到Hive的表中。仅供参考，此表在Hive中可用。这是我的代码， from pyspark.sql import SparkSession as sc, HiveContext as HC
spark = sc.builder.appName('eap').enableHiveSupport().getOrCreate()
sqlContext = HC(spark)
sqlContext.sql("INSERT INTO mydb.my_job_status_table
SELECT st.tablename, fs.finalhivetable, ss
浏览 44提问于2020-08-10得票数 0
回答已采纳
2回答
我尝试加载到spark数据帧，但它似乎忽略了时间戳的时区，而使用spark时区。下面是运行它的代码。 from pyspark.sql import SparkSession, Row
from datetime import datetime
import pytz
import os
spark = SparkSession.builder.getOrCreate()
spark.conf.set("spark.sql.session.timeZone", "Europe/Moscow")
df = spark.createDataFrame([
浏览 108提问于2021-08-18得票数 0
我从一个压缩的10 in csv格式的.gz文件中创建了以下数据帧： +-------------------+----------+--------+----+
| tweet_id| date| time|lang|
+-------------------+----------+--------+----+
|1212360731695427584|2020-01-01|13:11:37| en|
|1212470713338286081|2020-01-01|20:28:39| ru|
|1212537749485449216|2020-01-
浏览 16提问于2021-10-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
