最近，我开始在databricks上使用pyspark，在将下面的字符串转换为DateTime数据类型时，如何获得空值是很有趣的。我在这里看过几篇关于如何做到这一点的文章，但似乎没有一篇对我有用。12/1/2010 8:26 004 10 30/2/2010 8:26
我正在尝试使用pyspark将invoicedate (字符串数据类型</em
浏览 14提问于2021-07-15得票数 1
回答已采纳
1回答
我在pyspark dataframe中有一个列，它的格式是2021-10-28T22:19:03.0030059Z (字符串数据类型)。如何在pyspark中将其转换为时间戳数据类型？我正在使用下面的代码片段，但它返回空值，因为它无法转换它。有没有人能推荐一下如何转换这个？
浏览 173提问于2021-11-05得票数 1
我有两个数据类型为+----+----------------++100| 8606738 || 130| 8602984 |我希望使用pyspark命令将列区域转换为str，但我得到的错误如下所示
str (df‘str’)：但它没有将数据类型
浏览 1提问于2019-05-17得票数 0
回答已采纳
我计划在pyspark中处理struct数据类型，它映射dynamodb中的数据类型。由于我计划在dynamodb表中执行转换，该表具有一个map属性，因此我希望使用pyspark实现相同的转换。
浏览 2提问于2020-05-29得票数 0
我有一个包含字符串数据类型的日期列，当在pyspark中推断时：如何将字符串数据类型转换为日期时间？
浏览 18提问于2022-10-25得票数 0
回答已采纳
我找不到关于这一点的任何详细文档，那么pyspark.pandas.frame.DataFrame和pyspark.sql.dataframe.DataFrame之间有什么区别，在哪里可以找到它们的方法的文档呢另外，如何将其中一个转换成另一个，反之亦然？转换它们总是无缝的还是某些数据类型不被识别？
浏览 6提问于2022-09-12得票数 1
回答已采纳
1回答
我目前正在处理一些相当复杂的json文件，我应该将它们转换并写入增量表。问题是，当涉及到列的数据类型时，每个文件都有细微的差异。有人能给我解释一下检索嵌套结构列的数据类型的一般方法吗？在互联网上，我只能找到如何对它们做选择：https://sparkbyexamples.com/pyspark/pyspark-select-nested-struct-columns/ 如果我有这样的格式我怎样才能获得数据类型，比如说，姓氏？ 编辑: Js
浏览 42提问于2021-10-22得票数 0
在pyspark中，有没有办法将时间戳数据类型的dataframe列转换为格式为'YYYY-MM-DD‘格式的字符串？
浏览 3提问于2018-02-22得票数 14
回答已采纳
3回答
如下所示：1 103 12
id和col_value的数据类型是字符串我需要获得另一个dataframe(output_df)，，其数据类型为id作为字符串，col_value列为十进制**(15，4)**。THere不是数据转换，只是数据类型转换。我能用PySpark吗？如有任何帮助，将不胜感激。
浏览 6提问于2017-08-02得票数 8
我们怎么才能用
在org.apache.spark.sql.catalyst.parser.CatalystSqlParser中导入它，它在Scala中工作得很好，现在根据需求，我们尝试转换我们的项目
浏览 7提问于2022-06-09得票数 0
oracle中使用pyspark检索时的列数据类型为NUMBER的数据库将转换为float。例如：ID列-数据类型编号在检索时具有值111该值显示为111.000000 列名是动态的，我不想通过硬编码来转换它。oracle中的数据是否可以按其在数据库中的显示方式进行检索。
浏览 28提问于2019-03-04得票数 0
要将整数数据类型列转换为列表数据类型 a b1 9 3 a b1 9 [3]import我尝试了一种天真的方式from pyspark.sql.functions import col
浏览 5提问于2021-12-02得票数 0
回答已采纳
2回答
需要一些帮助来检查spark中的数据类型， 我需要在spark中转换这个pyspark功能 if dict(df.dtypes)['test_col'] == 'String':
...
浏览 67提问于2020-12-01得票数 0
回答已采纳
在pyspark中创建示例数据 from pyspark.sql.types import StructField testdata = [("aaaa",1,50.0,"05-APR-2020"),
("bbbb",2,100.0TypeError:字段col4: DateType不能接受
浏览 1提问于2020-05-04得票数 0
回答已采纳
我正在尝试泛化模式，以便在pyspark中创建空表。我的列表包含用空格分隔的名称和数据类型。我可以泛化名称，但它不能转换类型。from pyspark.sql.types import * , 'confidence DoubleType是否有一种方法可以使数据类型成为通用的
浏览 2提问于2022-03-08得票数 0
我想转换时间在字符串格式"HH:mm:ss“(即。23:15:20)使用PySpark从内部数据库转换为拼图文件。似乎没有时间数据类型来做这件事。实现这一目标的最佳实践是什么？
浏览 12提问于2021-04-18得票数 0
我有一个从熊猫数据帧创建的样本spark数据帧-frompyspark.sql.types import StringType |-- input1: long (nullable =
浏览 3提问于2020-09-09得票数 0
我有一个带有tlc列的胶水表，它的数据类型是Bigint。我试图使用PySpark执行以下操作：我的代码看起来是：
df = spark.sql('select tlc from
浏览 4提问于2020-03-24得票数 10
我用过的图书馆：from awsglue.utils import getResolvedOptionsfrom awsglue.dynamicframe import DynamicFramefrom pyspark.sql.types import *
from <em
浏览 12提问于2022-09-05得票数 0
2回答
我有一个列、名称(键)及其数据类型(值)的字典。数据类型是文字字符串，我试图将我的PySpark df中的列转换为定义的数据类型，即 df.withColumn(f'{k}', col(f'{
浏览 5提问于2022-05-23得票数 -1
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
