使用Spark SQL将字符串格式化为datetime

文章/答案/技术大牛

发布

1回答

sql、apache-spark-sql、sql-date-functions

我正在尝试使用spark sql将存储为字符串的日期列从如下所示转换和重新格式化... 30/03/20 02:00 添加到datetime列，如下所示... 2020-03-30 02:00 ('YYYY-MM-ddHH:mm') 我使用的不是python，而是简单地用DBeaver直接将sql写成一个spark datalake。

浏览 151提问于2021-02-05得票数 2

回答已采纳

2回答

如何在"pyspark“中读取xml文件？

xml、apache-spark、pyspark

其他人使用此代码。Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasourc

浏览 2提问于2021-09-30得票数 0

1回答

如何将火花数据映射转换为JSON映射？

apache-spark、apache-spark-sql

我目前有一个由两列组成的csv："abc","123""def","123"{"abc":["123","234"],"def":["123"]} 我创建了一个数据框架，然后使用

浏览 5提问于2022-09-13得票数 1

5回答

格式化日期时间

php、mysql

我在数据库的表中使用datetime格式。1)如何从值中仅提取日期和时间? 2)如何在输出时将日期重新格式化为mm/dd/yyyy ?3)如何在输出时将时间重新格式化为hh:mm am/pm？谢谢

浏览 6提问于2012-09-09得票数 0

1回答

Wpf组合框Itemstringformat格式日期

c#、wpf、wpfdatagrid

在数据库中绑定的组合框项：{ using (MySqlCommand cmd = new MySqlCommand(sqlcombobox_tarih.Items.Add(reader.GetString("teda

浏览 3提问于2018-01-05得票数 0

回答已采纳

2回答

无法按日期正确排序

apache-spark、apache-spark-sql、databricks

我尝试过str_to_date，但在spark sql中没有，并且尝试在order by中重复date_format，但没有成功 

浏览 35提问于2019-11-09得票数 1

回答已采纳

4回答

如何检查特定的DateTime

sql、sql-server、vb.net

我需要从我的代码(VB.NET)中检查表中的特定DateTime值，但我不知道如何将DateTime格式化为字符串。我读到过，如果字符串的格式是日期、时间或日期和时间，SQL Server就会识别它。我的意思是：'5/15/2004''2004 4 am' SQL

浏览 6提问于2010-07-24得票数 1

回答已采纳

1回答

大查询删除天数

google-bigquery

here，因为我想从给定的日期中删除7天，而文档中显示的示例不起作用： SELECT DATE_ADD(TIMESTAMP("2012-10-01 02:03:04"), 7, "YEAR"); 从具有相同格式的

浏览 11提问于2020-10-24得票数 0

回答已采纳

3回答

为什么在使用架构查询时所有字段都为空？

scala、apache-spark、apache-spark-sql、spark-structured-streaming

我使用在case类和编码器的帮助下指定模式的结构化流来获取流数据。import java.sql.Timestamp dateTime: Timestamp, userIdInteger, etag: String, srcBucket: String import org.apache.spark.sql.Enc

浏览 3提问于2019-11-23得票数 3

回答已采纳

1回答

如何在sqlalchemy执行中传递原始sql中的当前日期

python、mysql、sqlalchemy、flask-sqlalchemy

我想要更新mysql数据库中的datetime列。这个应用程序使用sqlalchemy，但是由于某些原因，我不得不在这里传递一个原始sql。如何将返回值格式化为字符串？即使我将其格式化为字符串，在插入到数据库中时如何将其转换为datetime？

浏览 0提问于2016-05-10得票数 3

2回答

为什么Spark* dataframe中的时间戳列在写入Hive表时发生了变化？*

scala、apache-spark、hive

我试图使用JDBC读取Oracle表并将数据插入Hive表，但所有时间戳列的值都已更改(-6小时)。为什么会改变时间戳？* .builder .config("spark.sql

浏览 3提问于2019-11-08得票数 1

4回答

将字符串格式设置为美国格式

sql、sql-server

请参考下面的SQL：错误是：“将varchar数据类型转换为datetime数据类型导致值超出范围”。我知道我可以解决这个问题：有没有办法将字符串'13/01/2015‘格式化为</

浏览 1提问于2015-04-08得票数 0

4回答

.net DateTime对象，确保MM/DD/YYYY格式

.net、sql、ms-access、datetime

似乎.net DateTime对象默认使用计算机设置的任何格式。由于我来自英国，这意味着DateTime对象是DD/MM/YYYY。这通常很好，但我正在尝试使用DateTime对象在Access数据库上提交记录时输入当前时间。Access (或一般的SQL，不是很清楚)要求日期格式为MM/DD/YYYY格式。有没有一种方法可以让DateTime对象只将日期格式

浏览 0提问于2011-11-07得票数 2

回答已采纳

2回答

使用RMySQL编写日期

mysql、r、rmysql

我在R中有一个时间，我想把它写到DATETIME列中的MySQL表中。我该怎么做呢？如果我将其格式化为字符串，SQL将无法识别它；如果我使用as.POSIXlt，SQL仍然无法识别它。我只使用标准的dbConnect和dbWriteTable语句，它们可以很好地处理非日期。

浏览 0提问于2013-02-26得票数 1

回答已采纳

3回答

PySpark数据帧将异常字符串格式转换为时间戳

apache-spark、dataframe、pyspark、apache-spark-sql、timestamp

我通过Spark 1.5.0使用PySpark。我在DateTime值的列中有一种不同寻常的字符串格式。它看起来像这样： Row[(datetime='2016_08_21 11_31_08')] 有没有办法将这种非正统的格式化成时间戳？最终可能会出现这样的情况： df = df.withColumn("date_time",df.datetime.astype('Timestamp

浏览 93提问于2016-08-23得票数 35

回答已采纳

4回答

将字符串转换为日期时间格式

.net、vb.net、datetime

需要将字符串转换为普通的日期时间格式，以便可以将其正确插入到日期时间类型字段中。字符串格式：示例：我已经澄清了问题：需要更改的是格式，而不是类型。

浏览 2提问于2010-04-22得票数 0

回答已采纳

3回答

Convert.ToString(DateTime)生产英国格式，而不是美国

c#、sql-server、datetime、localization、regional-settings

我遇到了一个问题，C# DateTime字符串无法转换为SQL DateTime，因为它神秘地被格式化为英国日期(dd/MM/yyyy)。它(不必要地)在使用Convert.ToString(DateTime)将日期作为参数传递给sproc之前将日期转换为字符串。由于SqlException“将数据类型nvarchar转换为日期时间”发生错误，sproc失败了，

浏览 5提问于2011-08-05得票数 2

回答已采纳

1回答

火花- spark.sql.legacy.timeParserPolicy文档在哪里？

apache-spark、datetime、pyspark、apache-spark-sql

指的是spark.sql.legacy.timeParserPolicy 时间戳/日期字符串的解析/格式化。在Spark3.0中，我们在Datetime模式中定义自己的模式字符串以进行格式化和解析，这是通过幕后的DateTimeFormatter实现的。新实现对其输入执行严格检查。例如，如果模式为yyyy，则2015-07-22 10:00:00 :00时间戳无法解析，因为解析器没有使用整个输入。在Spa

浏览 10提问于2022-02-20得票数 1

3回答

从Spark2.0到3.0的字符串到日期迁移导致无法识别DateTimeFormatter中的'EEE :mm:ss zzz‘模式

apache-spark、pyspark、apache-spark-sql

我有一个来源的日期字符串，格式为'Fri May 24 00:00:00 BST 2019‘，我将转换为日期，并将数据存储为'2019-05-24’，使用类似于我的示例的代码，该代码在spark 2.0from pyspark.sql.functions import to_date, unix_timestamp, from_unixtime df = spark.createDataFrame(['))).alias('dat

浏览 5提问于2020-06-26得票数 13

1回答

将字符串转换为时间戳

python、pyspark、timestamp

需要将“12/1/2010 8:26”格式的字符串列转换为时间戳。尝试使用以下代码：但是有个错误 Py4JJavaError: An error occurredYou can set spark.sql.legacy.timeParserPolicy to LEGACY to restore the behavior before <

浏览 10提问于2022-03-07得票数 0

回答已采纳

点击加载更多