Spark:如何动态重命名嵌套结构字段中的特殊字符
Spark是一个开源的大数据处理框架，它提供了丰富的功能和工具来处理和分析大规模数据集。在Spark中，可以使用DataFrame API来处理结构化数据，包括嵌套结构字段。
要动态重命名嵌套结构字段中的特殊字符，可以使用Spark的内置函数withColumnRenamed。该函数可以用于重命名DataFrame中的列，包括嵌套结构字段。
下面是一个示例代码，演示如何使用withColumnRenamed函数来重命名嵌套结构字段中的特殊字符：
import org.apache.spark.sql.functions._
// 假设有一个DataFrame名为df，包含一个名为nested的嵌套结构字段
val renamedDF = df.withColumnRenamed("nested.field.with.special.characters", "newFieldName")
// 打印重命名后的DataFrame结构
renamedDF.printSchema()在上述示例中，我们使用withColumnRenamed函数将嵌套结构字段nested.field.with.special.characters重命名为newFieldName。通过打印重命名后的DataFrame结构，可以验证字段是否被成功重命名。
需要注意的是，Spark的withColumnRenamed函数只能重命名单个字段，如果需要重命名多个字段，可以多次调用该函数。
对于Spark的推荐产品和产品介绍链接地址，可以参考腾讯云的相关文档和官方网站。
相关·内容
1回答
使用用户定义的标题将数据从Spark Dataframe导出到CSV
pyspark、coalesce
我正在通过Spark SQL读取Hive表，并将其存储在Spark Dataframe中。然后，我使用coalesce命令将数据从数据框导出到CSV &这是成功的。唯一的问题是，我想让CSV标题包含一些容易理解的单词，但它仅仅是列名。 有没有办法让我的CSV头自定义？
浏览 46提问于2021-10-28得票数 0
2回答
基于旧dataFrame中的重格式化列创建新的dataFrame
python、apache-spark、pyspark
我从一个数据库导入了数据
df = spark.read.format("com.mongodb.spark.sql.DefaultSource").option("uri",
"mongodb://127.0.0.1/test.db").load()
我选择了双列
double_list = [name for name,types in df.dtypes if types == 'double']
@Ramesh Maharjan。若要删除我们使用的特殊字符
removedSpecials = [''.joi
浏览 1提问于2018-07-06得票数 2
回答已采纳
23回答
如何在PySpark中更改dataframe列名？
python、apache-spark、pyspark、apache-spark-sql、rename
我来自熊猫背景，习惯于将CSV文件中的数据读入dataframe，然后使用简单的命令将列名更改为有用的内容：
df.columns = new_column_name_list
但是，在使用PySpark创建的sqlContext数据文件中，同样的方法不起作用。我能想出的唯一简单的解决方案是：
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='\t').load
浏览 12提问于2015-12-03得票数 304
回答已采纳
1回答
用函数选择吗？
sql、pyspark
我正在查看这个SQL查询：
SELECT
tbl.id as id,
tbl. as my_name,
tbl.account as new_account_id,
CONVERT_TIMEZONE('UTC', 'America/Los_Angeles', tbl.entry_time)::DATE AS my_time
FROM tbl
我想知道我将如何将它转换为Pyspark？
假设我将tbl作为一个CSV加载到Pyspark中，如下所示：
tbl_dataframe = spark...load('/files/tbl.csv&
浏览 2提问于2021-10-14得票数 0
1回答
Spark 2 Python重命名列并设置列数据类型
python、apache-spark、pyspark
我使用DataFrame读入HDFS文件，并使用正则表达式提取数据。
列名是使用索引动态生成的，列数据类型被创建为字符串。
是否可以在不单独重命名或转换列的情况下重新定义DataFrame的模式？
我的计划是将DataFrame转换为RDD，然后使用模式将RDD转换回DataFrame。
我不确定这是不是一个好主意。
浏览 4提问于2018-08-06得票数 0
回答已采纳
1回答
如何在scala中将赋值添加到空的dataframe现有列？
scala、dataframe、apache-spark、apache-spark-sql
我正在读取一个csv文件，它终于有了|分隔符，而load方法使dataframe中的最后一列在Spark 1.6中没有名称和值
df.withColumnRenamed(df.columns(83)，"Invalid_Status").drop(df.col("Invalid_Status"))
val df = sqlContext.read.format("com.databricks.spark.csv").option("delimiter","|").option("header",
浏览 18提问于2019-07-26得票数 1
1回答
从ES中获取数据并保存到HDFS作为Avro (火花)
scala、apache-spark、rdd
我对Spark和Scala还不熟悉，所以我有一个非常基本的问题。我有Spark1.5.2和Scala2.10.4。我创建了一个配置，允许我在使用spark-shell命令启动--config时直接从ES中以JSON的形式获取一些数据；我还导入了elasticsearch-hadoop的--jar。一旦我启动了星火，我做了以下几件事：
import org.elasticsearch.spark._
val rdd = sc.esRDD("my-index")
如果我做了rdd.getClass，就会得到以下结果：
res9: Class[_ <: org.apache.s
浏览 3提问于2017-05-11得票数 0
回答已采纳
3回答
在星火中嵌套结构中递归重命名列
scala、apache-spark、apache-spark-sql
我试图在我的DataFrame的所有列中替换某些字符，这些列有很多嵌套的结构类型。
我试图递归地处理模式字段，出于某种原因，它只是在顶层重命名字段，即使是通过它到达叶节点。
我正在尝试将列名中的:字符替换为_
下面是我编写的scala代码：
class UpdateSchema {
val logger = LoggerFactory.getLogger(classOf[UpdateSchema])
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka"
浏览 0提问于2018-07-13得票数 1
回答已采纳
1回答
Scala/Apache火花转换DataFrame列值和类型，否则为多次
sql、scala、apache-spark、cassandra
我有一个主SQL表，我正在读取这个表，并修改它以写入CassandraDB。目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。
我见过：
.withColumn("gender", when(col("gender) === 1, "male").otherwise("female")
这将允许我继续在主表上进行方法链接，但无法让它使用两个
浏览 1提问于2017-09-11得票数 2
回答已采纳
5回答
Spark Dataframe验证拼接写入的列名
apache-spark、pyspark、apache-spark-sql、spark-streaming、parquet
我正在使用从JSON事件流转换而来的Dataframe来处理事件，这些数据帧最终会被写成Parquet格式。 但是，一些JSON事件在键中包含空格，我希望在将其转换为Parquet之前记录和过滤/删除数据帧中的此类事件，因为;{}()\n\t=在拼图方案(CatalystSchemaConverter)中被视为特殊字符，如中所列1下面因此不应允许在列名中使用。 如何在Dataframe中对列名执行此类验证，并完全删除此类事件，而不会导致Spark Streaming作业出错。 1Spark的CatalystSchemaConverter def checkFieldName(name: St
浏览 188提问于2016-07-05得票数 17
1回答
如何使用透视表创建新列？
scala、apache-spark、dataframe、spark-dataframe
我有一个DataFrame，它的列typecol包含值22和33。然后，我使用下面的代码创建一个枢轴表：
var result = df
.groupBy(col("product_id"))
.pivot("typecol")
.agg(count("*"))
.na.fill(0)
.withColumnRenamed("22", "A_type")
.withColumnRenamed("33",
浏览 0提问于2018-04-15得票数 1
回答已采纳
1回答
即使在重命名列之后，我也会收到一个关于非法列名的错误。怎么修？
我一开始就是。
df=spark.read.parquet('abfss://myblob.dfs.core.windows.net/somedir')
df
# DataFrame[Region: string, Date: date, OnOff Peak: string, Hourbegin: int, Hourend: int, Inflation: string, Price_Type: string, Reference_Year: int, Area: string, Price: double, C
浏览 3提问于2022-07-27得票数 2
1回答
火花放电数据图中的列重命名
pyspark、azure-synapse
我有带有特殊字符的列名。我重命名了该列，并尝试保存，它给出了保存失败的结果，表示列具有特殊字符。我在dataframe上运行了打印模式，我看到列名中有任何特殊字符。这是我试过的代码。
for c in df_source.columns:
df_source = df_source.withColumnRenamed(c, c.replace( "(" , ""))
df_source = df_source.withColumnRenamed(c, c.replace( ")" , ""))
df_sou
浏览 9提问于2022-03-06得票数 0
回答已采纳
1回答
星星之火:如何将Dataset<Row>中的列名替换为新名称？
java、apache-spark、apache-spark-sql
我使用MongoDB作为JSON从Spark读取数据：
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
....
..
Dataset<Row> ds = MongoSpark.load(jsc).toDF();
我要把这个DF储存到蜂巢里。
问题是，MongoDB中的列名之一是Timestamp，它是Hive中的一个保留字。因此，来自MongoDB的JSON数据包含一个键，名为timestamp。
我需要
浏览 0提问于2018-09-18得票数 0
回答已采纳
2回答
Scala火花选择不按预期工作
scala、apache-spark
希望有人能帮忙。很肯定这是我做错的事。
我有一个名为uuidvar的dataframe，它的1列名为'uuid‘，另一个dataframe，df1，包含许多列，其中之一也是'uuid’。我想从df1中选择所有在uuidvar中显示uuid的行。现在，拥有相同的列名并不理想，所以我尝试用
val uuidselection=df1.join(uuidvar, df1("uuid") === uuidvar("uuid").as("another_uuid"), "right_outer").select("*
浏览 4提问于2015-11-12得票数 0
回答已采纳
2回答
在pyspark中旋转行的值
pyspark
我目前正在清理一个数据集，我一直在尝试使用pyspark来做这件事。数据从csv读取到dataframe中，我需要的值在它们各自的行中，但对于某些行，值是混合的。我需要轮换这些行的值，以便这些值位于正确的列中。例如，假设我有以下数据集：
+-------+-------+-------+
| A | B | C |
+-------+-------+-------+
| 2 | 3 | 1 |
+-------+-------+-------+
但是第一行中的值应该是
+-------+-------+-------+
| A | B
浏览 18提问于2020-02-07得票数 0
回答已采纳
1回答
GraphFrames的PageRank中存在错误
pyspark、bigdata、pyspark-sql、pagerank、graphframes
我刚接触pyspark，正在尝试了解PageRank是如何工作的。我在Cloudera上使用Jupyter中的Spark 1.6。我的顶点和边(以及模式)的屏幕截图位于以下链接中：和
到目前为止，我有如下代码：
#import relevant libraries for Graph Frames
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.functions import desc
from graphframes import *
#Read the csv fi
浏览 6提问于2018-05-25得票数 0
1回答
如何在Scala/Spark中使用字符串作为表达式/参数？
scala、apache-spark、pyspark、apache-spark-sql、apache-spark-mllib
我正在尝试使用dataframe中的现有列向dataframe中添加更多的列。然而，Scala是不可变的，因此很难进行迭代。因此，我想出了一个for循环来输出字符串(参见下面的示例代码，它存储了我可以使用的整个语句)。
val train_df = sqlContext.sql("select * from someTable")
/*for loop output is similar to the Str variable as below*/
var Str = ".withColumn(\"newCol1\",$\"col1\"
浏览 0提问于2018-08-15得票数 0
回答已采纳
1回答
pyspark withColumnRenamed，drop函数，u‘’Reference歧义错误
pyspark、pyspark-sql
我有一个函数，可以用列表中的一组新标题来更改DF的列标题。
def updateHeaders(dataFrame, newHeader):
oldColumns = dataFrame.schema.names
dfNewCol = reduce(lambda dataFrame, idx: dataFrame.withColumnRenamed(oldColumns[idx], newHeader[idx]), xrange(len(oldColumns)), dataFrame)
return dfNewCol
我从另一个函数捕获newHeader列表。列表中的
浏览 2提问于2018-01-26得票数 2
4回答
是否有可能以编程方式在spark sql中对列进行别名？
scala、apache-spark、apache-spark-sql
在spark (也许只有HiveQL)中，您可以做到：
select sex, avg(age) as avg_age
from humans
group by sex
这将产生一个DataFrame，列名为"sex"和"avg_age"。
如何在不使用文本avg(age)的情况下将"avg_age"别名为"avg_age"？
编辑：在zero323的回答之后，我需要添加以下约束：
要重命名的列的名称可能不为已知/保证，甚至无法寻址。在文本SQL中，使用"select EXPR“删除了使用EXPR的中间名称的要求。在上面的
浏览 7提问于2015-07-21得票数 26
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
