如何在pyspark中通过删除列中的字符自动批量重命名
在pyspark中，可以通过使用withColumnRenamed方法来实现自动批量重命名列中的字符。
具体步骤如下：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 加载数据集并创建DataFrame：
df = spark.read.csv("path/to/dataset.csv", header=True, inferSchema=True)- 定义一个函数，用于批量重命名列中的字符：
def rename_columns(df, old_chars, new_chars):
for old_char, new_char in zip(old_chars, new_chars):
df = df.withColumnRenamed(old_char, new_char)
return df- 调用函数进行批量重命名：
old_chars = ["old_char1", "old_char2", ...]
new_chars = ["new_char1", "new_char2", ...]
df = rename_columns(df, old_chars, new_chars)在上述代码中，old_chars是一个包含需要替换的字符的列表，new_chars是一个包含替换后的字符的列表。通过使用withColumnRenamed方法，可以将每个旧字符替换为相应的新字符。
注意：在使用withColumnRenamed方法时，需要将DataFrame重新赋值给自身，以便更新列名。
至于pyspark中的其他操作和函数，可以参考腾讯云的PySpark文档：PySpark文档。
希望以上内容能够满足您的需求，如果还有其他问题，请随时提问。
相关·内容
3回答
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
我有以下的一小段代码。
# do all the required imports
import pyspark
import pandas as pd
from pyspark.sql.functions import udf
from pyspark.sql import SparkSession
#create a session
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.some.config
浏览 11提问于2018-08-22得票数 2
我有一个CSV文件，它已经通过以下代码作为dataframe导入： from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("name of file.csv", inferSchema = True, header = True)
df.show() 输出 +-----+------+-----+
|col1 | col2 | col3|
+-----+------+-----+
| A
浏览 14提问于2019-01-14得票数 1
回答已采纳
23回答
我来自熊猫背景，习惯于将CSV文件中的数据读入dataframe，然后使用简单的命令将列名更改为有用的内容：
df.columns = new_column_name_list
但是，在使用PySpark创建的sqlContext数据文件中，同样的方法不起作用。我能想出的唯一简单的解决方案是：
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load
浏览 12提问于2015-12-03得票数 304
回答已采纳
我有一个非常大的CSV文件，它已经作为一个PySpark数据文件导入：df。dataframe包含许多列，包括列ireturn。我想要计算该列的0.99和0.01百分位数，然后将另一列添加到dataframe df中，作为new_col_99和new_col_01，它们分别包含0.99和0.01百分位数。我编写了下面的代码，它适用于小数据格式，但是当我将它应用到我的大型数据文件时会出现错误。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv(&#
浏览 0提问于2019-01-15得票数 3
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
spark = sqlContext.sparkSession
avg_calc = spark.read.csv("quiz2_algo.csv", header= True,inferSchema=True)
header = avg_calc.first()
no_header = avg_calc.subtract(header)
no_header
avg_calc包含2列，我正在尝试从这两列中删除第1行，但是我收到以下错误：
-------
浏览 1提问于2018-05-12得票数 0
我有这个： df_e :=
|country, name, year, c2, c3, c4|
|Austria, Jon Doe, 2003, 21.234, 54.234, 345.434|
...
df_p :=
|name, 2001, 2002, 2003, 2004|
|Jon Doe, 2849234, 12384312, 123908234, 12398193|
... 两个Pyspark Dataframe都从csv文件中读取。 如何在df_e中创建一个名为" amount“的新列，它从d
浏览 14提问于2020-12-05得票数 0
回答已采纳
我试图在Pyspark中将CSV文件读取到dataframe中，但我有一个包含混合数据的CSV文件。它的部分数据属于它的相邻列。有没有办法修改python中的dataframe以获得预期的输出dataframe？ 示例CSV ID , Name
'1' , 'Alice'
'2B' , 'ob'
'3Ri' , 'chard' 预期输出 ID, Name
1, 'Alice'
2, 'Bob'
3, 'Richard'
浏览 22提问于2020-01-26得票数 0
回答已采纳
1回答
我正在使用一个自定义函数作为reduce操作的一部分。对于下面的例子，我得到了下面的消息TypeError: reduce() takes no keyword arguments -我相信这是由于我在函数exposed_colum中使用字典mapping的方式-你能帮我修复这个函数吗？
from pyspark.sql import DataFrame, Row
from pyspark.sql.functions import col
from pyspark.sql import SparkSession
from functools import reduce
def proces
浏览 18提问于2020-02-05得票数 0
回答已采纳
我以以下方式创建了一个DataFrame：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.getOrCreate()
df = spark.read.csv("train.csv", header=True)
我的DataFrame的架构如下：
root
|-- PassengerId: string (nullable = true)
|-- S
浏览 3提问于2018-10-18得票数 0
回答已采纳
1回答
我有一个Spark df，它只有一个列名为“我的列名”。它是通过读取一个拼花文件来创建的。
编辑拼花文件是通过读取名为test.csv的CSV文件创建的，该文件包含以下内容：
My Column Name
test1
test2
然后用熊猫test.parquet (“test.parquet”) /edit把它写到一个名为“test.parquet”的拼花文件中
printSchema函数返回以下内容：
>>> df.printSchema()
root
|-- My Column Name: string (nullable = true)
我使用应用于df的withC
浏览 8提问于2022-05-18得票数 1
我试图使用不带参数的DataFrame和udf将一列添加到我的星火withColumn中。这似乎只有当我使用lambda封装我的原始函数时才有效。
这是一辆MWE：
from pyspark.sql import Row, SparkSession
from pyspark.sql.functions import udf
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([Row(number=i) for i in range(10)])
def foo():
return 'ba
浏览 0提问于2019-04-23得票数 2
回答已采纳
1回答
我有一个DataFrame，我想要添加一个由不同的uuid4()行组成的列。我的代码：
from pyspark.sql import SparkSession
from pyspark.sql import functions as f
from pyspark.sql.types import StringType
from uuid import uuid4
spark_session = SparkSession.builder.getOrCreate()
df = spark_session.createDataFrame([
[1, 1, 'teste
浏览 3提问于2020-03-11得票数 6
回答已采纳
我正在用Pyspark构建以下全局函数，以遍历CSV中以不同格式显示的每一列，并将它们转换为一种由“-”分隔的唯一格式。我对蟒蛇世界很陌生，我正在接受
TypeError:列不可迭代
employeesDF =正在从本地sys读取csv文件
我尝试了以下代码：
def colrename(df):
for col in employeesDF.columns:
F.col(col).alias(col.replace('/s,#', '_'))
return employeesDF
ndf = colrename (employees
浏览 3提问于2022-04-28得票数 0
我有一个dataframe df_test，我想将all列解析为一个新的df。另外，我希望使用if with语句来修改一列的上下文。
试过这个：
import pyspark
import pandas as pd
from pyspark.sql import SparkSession
df_cast= df_test.withColumn('account_id', when(col("account_id") == 8, "teo").when(col("account_id") == 9, "liza")
浏览 3提问于2020-11-20得票数 0
回答已采纳
我试图从S3存储桶中读取数据，并希望将其写入/加载到postgres表中。我的密码是-
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('Read Multiple CSV Files').getOrCreate()
path = ['C://Projects/Sandbox/file2.csv']
files = spark.read.csv(path, sep=',',inferSchema=True, header=True)
df1 = f
浏览 3提问于2022-03-21得票数 0
回答已采纳
我正在使用python2.7运行Spark2.4.4，IDE是py魅力。
输入文件在列中包含编码值，如下所示。
.ʽ|!3-2-704A------------ (dotted line is space)
我想得到结果就像
3-2-704 a
我试过下面的代码。
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark") \
.config("spark.some.config.option",
浏览 2提问于2019-09-22得票数 0
回答已采纳
我正在尝试使用pyspark读取csv文件，大多数列名都有特殊字符。我想要使用pyspark dataframe.Is删除所有列名中的特殊字符，有什么特定的函数可以同时删除所有列名的特殊字符吗？我很感激你的回应。
浏览 1提问于2020-08-05得票数 2
回答已采纳
1回答
df1 = spark.read.csv('/content/drive/MyDrive/BigData2021/Lecture23/datasets/cities.csv', header = True, inferSchema= True)
import pyspark.sql.functions as F
for name in df1.columns:
df1 = df1.withColumn(name, F.trim(df1[name]))
df1.show()
这是我的一段代码，我试着修剪列标题中的每一个空格以及值，但是它不起作用，我需要函数来
浏览 13提问于2022-01-09得票数 -2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
