Pyspark DF:如何添加文字空dict '{}‘列
在Pyspark中，可以使用withColumn方法来添加一个空的字典列。具体操作如下：
from pyspark.sql import SparkSession
from pyspark.sql.functions import lit
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建一个示例DataFrame
data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 添加一个空的字典列
df_with_dict = df.withColumn("DictColumn", lit({}))
# 显示DataFrame
df_with_dict.show()上述代码中，首先导入了必要的模块，然后创建了一个SparkSession对象。接下来，创建了一个示例的DataFrame，其中包含两列：Name和Age。然后，使用withColumn方法添加了一个名为DictColumn的新列，并使用lit函数将一个空的字典作为默认值传递给该列。最后，使用show方法显示了添加了新列的DataFrame。
关于Pyspark的更多信息和使用方法，可以参考腾讯云的相关产品和文档：
请注意，以上答案仅供参考，具体的实现方式可能因环境和需求而异。
相关·内容
1回答
我想在PySpark DataFrame中删除行，其中某个列包含一个空映射。我该怎么做？我似乎不能声明一个类型化的空MapType来比较我的列。我已经看到，在Scala中，您可以使用typedLit，但是在PySpark中似乎没有类似的东西。我还尝试过使用lit(...)并将其转换为struct<string,int>，但我没有为lit()找到可接受的参数(尝试使用返回null的None和返回错误的{} )。
我确信这是微不足道的，但我还没有看到任何关于这方面的文档！
浏览 2提问于2019-09-29得票数 2
回答已采纳
1回答
有一个数据集，并希望使用pyspark进行一些清理。删除空值大于75%的所有列。使用python：
df = df.dropna(axis='columns', thresh = int(0.75 * len(df)))
如何使用pyspark实现这一点？
浏览 0提问于2019-05-14得票数 0
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我有个数据：
"people" "other"
father ...
mother
cat
brother
dog
我将插入新列，如果列people在特定数组中包含word，然后用其他数组的内容修改内容，否则word将保持不变：
array=['father','mother','brother']
array_new=['dad','mum','bro']
"people"
浏览 1提问于2022-02-09得票数 1
回答已采纳
这篇文章很好地展示了如何使用pyspark ()将固定宽度的文本文件解析成Spark数据帧。
我有几个要解析的文本文件，但每个文件的模式都略有不同。而不是像上一篇文章所建议的那样，为每个文件编写相同的过程，我想编写一个通用函数，它可以解析给定宽度和列名的固定宽度文本文件。
我是pyspark的新手，所以我不确定如何编写列数和类型可变的select语句。
任何帮助都将不胜感激！
浏览 0提问于2017-09-08得票数 2
6回答
我是PySpark的新手。
我有一个火花DataFrame df，它有一个列'device_type‘。
我希望将“平板电脑”或“电话”中的每一个值替换为"Phone"，并将"PC“替换为"Desktop”。
在Python中，我可以执行以下操作：
deviceDict = {'Tablet':'Mobile','Phone':'Mobile','PC':'Desktop'}
df['device_type'] = df['device
浏览 5提问于2017-05-15得票数 23
回答已采纳
我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE", "No matching concept", "MALE", ....]} 因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Pandas数据帧，然后在将其作为JSON转储之前转换为字典，并成功地完成了转换，但由于数据量非常大，我想直接在PySpark数据
浏览 14提问于2019-12-18得票数 1
回答已采纳
相关问题：
因此，我有一个pyspark dataframe，我想删除所有行中所有值都相同的列，同时保持其他列的完整性。
然而，上述问题的答案仅适用于熊猫。有没有针对pyspark数据帧的解决方案？
谢谢
浏览 1提问于2018-12-17得票数 4
这就是我如何在pyspark中创建具有原始数据类型的数据
from pyspark.sql.types import StructType, StructField, DoubleType, StringType, IntegerType
fields = [StructField('column1', IntegerType(), True), StructField('column2', IntegerType(), True)]
schema = StructType(fields)
df = spark.createDataFrame([], schem
浏览 2提问于2020-05-31得票数 5
回答已采纳
我有一个pyspark.sql.dataframe.DataFrame对象df，它包含Continent和Country代码。我还有一个字典dicts字典，它包含每个列的查找值。
import pyspark.sql.functions as F
import pyspark.sql.types as T
df = sc.parallelize([('A1','JP'),('A1','CH'),('A2','CA'),
('A2','US')]).toDF(
浏览 12提问于2022-04-27得票数 4
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。 我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
我正在尝试找出spark数据框中的列是什么数据类型，并基于该定义操作列。
这是我到目前为止所知道的：
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('MyApp').getOrCreate()
df = spark.read.csv('Path To csv File',inferSchema=True,header=True)
for x in df.columns:
if type(x) == 'integer
浏览 8提问于2018-04-12得票数 1
2回答
我有一个pyspark，分布在整个集群中，如下所示：
Name ID
A 1
B 2
C 3
我想修改'ID‘列，使所有值成为python字典，列名为键&值作为列中的现有值，如下所示：
Name TRACEID
A {ID:1}
B {ID:2}
C {ID:3}
我如何使用火花放电代码来实现这一点呢？我需要一个高效的解决方案，因为它是一个跨集群的大容量分布式df。提前谢谢。
浏览 11提问于2022-04-04得票数 1
回答已采纳
有一系列数值变量的pyspark数据帧。 例如 我的dataframe有一个从1到100的列值。 1-10 - group1<== 1到10的列值应包含group1作为值11-20 - group2。。。91-100 group10 如何使用pyspark dataframe实现这一点？
浏览 15提问于2019-04-10得票数 1
回答已采纳
我试图在PySpark中的dataframe PySpark中添加一个列。
我试过的密码：
import pyspark.sql.functions as F
df1 = df1.withColumn("empty_column", F.lit(None))
但我知道这个错误：
pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。
有人能帮我吗？
浏览 23提问于2022-10-18得票数 3
回答已采纳
我正尝试在PySpark中批量重命名我的列，从： 'collect_list(Target_Met_1)[1]' --> 'AB11'
'collect_list(Target_Met_1)[2]' --> 'AB12'
'collect_list(Target_Met_2)[1]' --> 'AB21'
'collect_list(Target_Met_1)[150]' --> 'AB150' 我如何以编程方式在中处理它？现在，我可
浏览 99提问于2019-06-22得票数 1
回答已采纳
1回答
下面是两个最低限度的工作示例脚本，它们都在pyspark中调用一个UDF。UDF依赖于一个广播字典，它用它将一个列映射到一个新列。生成正确输出的完整示例如下：
# default_sparkjob.py
from pyspark.sql.types import *
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext, DataFrame
import pyspark.sql.functions as F
def _transform_df(sc, df):
globa
浏览 0提问于2017-03-07得票数 1
是否可以使用模式中没有空值但"nullable: True“的现有列在PySpark数据create中创建"nullable: False”的新列。我很难找到答案，但没有什么关系。任何方向或帮助都会有很大帮助。提前感谢！
浏览 2提问于2022-05-10得票数 -1
1回答
有没有一种简单的方法可以在pyspark中删除一个巨大的数据集(300+列>100k行)的空列？例如Python语言中df.dropna(axis=1,how='all')
浏览 10提问于2019-10-29得票数 0
回答已采纳
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。
我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。
mylist = ['ConformedLeaseRecoveryTypeId', 'ConformedLeaseStatusId', 'ConformedLeaseTypeId', 'ConformedLeaseRecoveryTypeName', 'ConformedLea
浏览 2提问于2020-05-12得票数 1
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。 然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是数组类型的剩余列。 dfstring = df.select([(F.col(c).cast('String')).alias(c) for c in df.columns if dict(df.dtypes)[c] == 'array<string>&#
浏览 20提问于2021-04-11得票数 0
回答已采纳
我有一个10列的csv。每一栏都有‘NA’值，并且都是字符串。所以，在熊猫进口的时候，我就这么做了。
df =pd.read_csv(r‘’file_name.csv‘，na_filter=True)
我想要知道na_filter=True的pyspark等效值，以将字符串格式中的"NA“值更改为适当的空值。
浏览 6提问于2022-08-02得票数 0
回答已采纳
我有一个包含两列的数据帧，如下所示： df = spark.createDataFrame([('A', 'Science'),
('A', 'Math'),
('A', 'Physics'),
('B', 'Science'),
('B', 'English'),
('C', 'Math'),
('C', 'English'),
('C&#
浏览 31提问于2020-07-01得票数 1
回答已采纳
2回答
如何在PySpark中创建一个新列并用今天的日期填充该列？
这就是我试过的：
import datetime
now = datetime.datetime.now()
df = df.withColumn("date", str(now)[:10])
我知道这个错误：
AssertionError: col应该是列
浏览 4提问于2017-12-20得票数 30
回答已采纳
我创建了一个新列并将其转换为整数。但是该列不能为空。如何使新列可为空？ from pyspark.sql import functions as F
from pyspark.sql import types as T
zschema = T.StructType([T.StructField("col1", T.StringType(), True),\
T.StructField("col2", T.StringType(), True),\
T.S
浏览 4提问于2019-05-17得票数 0
回答已采纳
1回答
我一直试图替换特定列的数据集中的字符串。无论是1还是0，'Y‘如果1，否则0。
我已经通过lambda使用dataframe到rdd转换来识别要针对的列，但这需要一段时间才能处理。
每个列都切换到rdd，然后执行不同的操作，这需要一段时间！
如果“Y”存在于不同的结果集中，则该列被标识为需要转换。
我想知道是否有人能建议我如何才能独占地使用pyspark函数来获得相同的结果，而不必为每一列切换？
样本数据上的代码如下：
import pyspark.sql.types as typ
import pyspark.sql.functions as func
co
浏览 2提问于2017-04-10得票数 0
回答已采纳
1回答
我需要将大约20个PySpark表转换为Pandas (应用使用Pandas构建的一些变量统计函数)。
现在，我遇到的问题是，在Pandas中，所有的十进制(x，y)数据类型都转换为对象数据类型。这就是为什么我想要自动地将它们转换成正确的Pandas dtype。
基本上，我有我想要的翻译PySpark<=>Pandas类型。我知道如何检索PySpark类型。但我不知道如何将PySpark类型转换为可用的字典。
这是我的代码，如果我有字典格式的PySpark类型--例如我想要达到的目标是"dict“：
dict = {'Var1': 'Timesta
浏览 16提问于2022-06-10得票数 0
回答已采纳
1回答
在星火中，文字列在添加时是不可空的：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([(1,)], ['c1'])
df = df.withColumn('c2', F.lit('a'))
df.printSchema()
# root
# |-- c1: long (nullable = true)
# |-- c2: string
浏览 3提问于2021-07-29得票数 4
回答已采纳
2回答
将一本字典拆分成独立的列
、、、、
我有一个dataframe (在Pyspark中)，它有一个行值作为字典：
df.show()
看起来是：
+----+---+-----------------------------+
|name|age|info |
+----+---+-----------------------------+
|rob |26 |{color: red, car: volkswagen}|
|evan|25 |{color: blue, car: mazda} |
+----+---+-----------------------------+
浏览 1提问于2018-10-30得票数 4
我有一只这样的熊猫
import pandas as pd
technologies = [
("Spark", 22000,'30days',1000.0),
浏览 6提问于2022-06-28得票数 -2
回答已采纳
尝试弄清楚如何用空值随机替换Pyspark中的特定列。因此，像这样更改数据帧： | A | B |
|----|----|
| 1 | 2 |
| 3 | 4 |
| 5 | 6 |
| 7 | 8 |
| 9 | 10 |
| 11 | 12 | 并将列'B‘中25%的值随机更改为空值： | A | B |
|----|------|
| 1 | 2 |
| 3 | NULL |
| 5 | 6 |
| 7 | NULL |
| 9 | NULL |
| 11 | 12 |
浏览 29提问于2020-09-18得票数 2
回答已采纳
1回答
我的json响应分别包含列和行。如何解析吡咯烷酮中的后续数据(将列映射为行)
响应如下: Response =“{”列“{”：{ "id"：{ "type"："Numeric"，"nullable"：false }，{ "name"：{ "type"："DateTime"，"nullable"：false }，{ "description"：{ "type"：{Text“type”，"nullable"：true }，{
浏览 2提问于2022-07-30得票数 2
回答已采纳
2回答
对于我正在进行的项目，我需要将API中的JSON输出读入星火DataFrame，以便进一步处理数据湖存储。但是，JSON并不仅仅是我习惯使用的常规JSON。我想将下面的JSON转换成一个星火DataFrame，这样它就可以用于Delta的处理。有人知道如何有效地将其转换为DataFrame吗？
[
[
{
"name": "Id",
"value": "1"
},
{
"name": "Firstname",
"
浏览 8提问于2022-02-28得票数 1
回答已采纳
我有一张表格，里面有257列。我试图找出如何根据数据类型更改表中的空值。我正试图在PySpark中做到这一点。而dataframe的名字叫做df。
因此，例如，如果列包含日期，则为时间戳数据类型，且该列中的空值必须为1900-01-01
如果它是任何整数或浮点类型，则需要为0。
如果是字符串类型，则应该是n/a
谢谢
浏览 5提问于2022-04-15得票数 0
回答已采纳
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。
我尝试过以下几种方法，但都没有成功：
type(randomed_hours) # => list
# Create in Python and transform to RDD
new_col = pd.DataFrame(randomed_hours, columns=['new_col'])
spark_new_col = sqlContext.createDataFrame(new_col)
my_df_spark.withColumn("hours"
浏览 13提问于2015-11-12得票数 179
回答已采纳
1回答
我正努力制作一本年月日的词典。这是一种宏，我可以调用required no。一年又一个月。我正在面对挑战，当我添加动态列在pyspark中。
df = spark.createDataFrame([(1, "foo1",'2016-1-31'),(1, "test",'2016-1-31'), (2, "bar1",'2012-1-3'),(4, "foo2",'2011-1-11')], ("k", "v","date"
浏览 1提问于2017-03-09得票数 0
回答已采纳
1回答
在pyspark中，我们可以很容易地过滤出特定列中的单个空值，方法如下：
df.filter("column is Not NULL")
但是，在我的例子中，列中的值变成了[null,null,null]或[0,0,0]，我想知道如何过滤掉这两种情况。
浏览 4提问于2021-07-07得票数 0
回答已采纳
3回答
This answer很好地解释了如何使用pyspark的groupby和pandas_udf进行自定义聚合。但是，我不能像示例的这一部分那样手动声明我的模式 from pyspark.sql.types import *
schema = StructType([
StructField("key", StringType()),
StructField("avg_min", DoubleType())
]) 因为我将返回具有自动生成的名称的100+列。有没有办法告诉PySpark只隐含地使用我的函数返回的模式，并假定它对所有工作节点都是相
浏览 26提问于2019-02-20得票数 3
使用scala已经有类似的解决方案，但我需要一个用pyspark的解决方案。我是python的新手，需要大家的帮助。
下面是scala解决方案的链接，以便更好地理解需求。
我正在尝试更改python中DataFrame列的名称。我可以很容易地更改直接字段的列名，但在转换数组结构列时遇到了困难。
下面是我的DataFrame模式。
|-- VkjLmnVop: string (nullable = true)
|-- KaTasLop: string (nullable = true)
|-- AbcDef: struct (nullable = true)
| |-- UvwXyz:
浏览 37提问于2020-06-08得票数 1
回答已采纳
我希望根据从其他来源(仪表板工具)获得的模式信息来验证Spark dataframe的模式。关于表的信息是字段名和字段类型(在这一点上，可空性并不重要)。但是，对于DecimalType列，我没有获得有关精度和缩放(DecimalType的两个参数)的信息。所以我不得不在比较中忽略这些值。
目前，我重写了模式，以便十进制列变成浮点列。但有没有更优雅的方法来做到这一点呢？
基本上，我想编写一个函数is_schema_valid()，它是这样工作的：
from pyspark.sql import types as T
df_schema = T.StructType([
T.Struc
浏览 6提问于2021-12-07得票数 0
回答已采纳
我正在尝试使用regexp_replace替换数据框列中的字符串。我必须对dataframe列中的所有记录应用正则表达式模式。但是字符串并没有按照预期进行替换。
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
from pyspark import sql
from pyspark.sql.functions import regexp_replace,col
import re
conf = SparkConf().setAppName("myFirstApp")
浏览 1提问于2018-05-03得票数 1
回答已采纳
使用Pyspark，如何选择/保留包含非空值的所有列；或者等效地删除不包含数据的所有列。
编辑:根据Suresh请求，
for column in media.columns:
if media.select(media[column]).distinct().count() == 1:
media = media.drop(media[column])
我在这里假设，如果伯爵是一个，那么应该是南。但我想看看那是不是南。如果还有其他内置的火花函数，请告诉我。
浏览 4提问于2017-08-11得票数 8
1回答
我有一个pyspark dataframe，其中一列填充了列表，要么包含条目，要么只包含空列表。我想高效地过滤掉所有包含空列表的行。
import pyspark.sql.functions as sf
df.filter(sf.col('column_with_lists') != [])
返回以下错误：
Py4JJavaError: An error occurred while calling o303.notEqual.
: java.lang.RuntimeException: Unsupported literal type class
也许我可以检查列表的长度，
浏览 17提问于2017-02-24得票数 7
回答已采纳
我是PySpark的新手。
我只想保留至少有10个值的列
我已经使用describe来获取每列的非空记录的计数
现在如何提取值小于10的列名，然后在写入新文件之前删除这些列
df = spark.read.parquet(file)
col_count = df.describe().filter($"summary" == "count")
浏览 1提问于2019-09-28得票数 1
2回答
用电火花替换结构型柱的空白点
、、、、
我有一个用例，希望用空值替换StructType列中的空值。下面是示例，您可以使用它重新创建场景：
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
data = [(1, [1, "Aman"]), (2, [2, "Raman"]), (3, [3, "Baman"]), (4, None)]
schema = StructType(
[
StructField("ID", IntegerTy
浏览 3提问于2022-01-31得票数 1
回答已采纳
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。
让我给出以下可重复的示例，为此我需要创建一个数据集：
# Dataframe Creation
df = spark.createDataFrame([(1,"arun","engineering",20000),\
(2,"manoj","finance",25000),\
浏览 12提问于2022-06-07得票数 0
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：
df = df[df.isnull().any(axis=1)]
但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：
df.filter(df.isNull())
AttributeError：'DataFrame‘对象没有属性'isNull’。
如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
我知道如何用pyspark读取csv文件，但我在加载正确格式的csv文件时遇到了很多问题。我的csv有3列，其中第一列和第二列是字符串，但第三列是字典列表。我无法加载这最后一列。 我试着用 schema = StructType([
StructField("_id", StringType()),
StructField("text", StringType()),
StructField("links", ArrayType(elementType=MapType(StringType(), StringType()
浏览 68提问于2019-09-26得票数 0
我正在进行一个PySpark转换，以便根据另一个列中的空值创建一个新列。下面是示例输入数据：
这是预期的输出数据：
浏览 2提问于2022-09-07得票数 -2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
