假设有一个Map，其键值对或文本如下： "x1" -> "a", "80" -> "AB"有没有办法像这样在循环中使用regexp_replace调用来添加新列：
df.withColumn("newColumn", pairs.mapSomeHow((k,v) => regexp_replac
浏览 2提问于2019-10-23得票数 0
回答已采纳
1回答
我正在使用Spark对用户提交的数据调用函数。如何将已存在的函数重命名为其他名称，如将REGEXP_REPLACE重命名为REPLACEss.udf.register("REPLACE", REGEXP_REPLACE)
浏览 11提问于2017-12-11得票数 0
回答已采纳
我想使用字典对pyspark dataframe列执行regexp_replace操作。字典：{'RD':'ROAD','DR':'DRIVE','AVE':'AVENUE',....}字典将有大约270个键值对。如果试图像下面的代码那样传递字典-
data=data.withColumn('Address_Clean',regexp_replace('Ad
浏览 0提问于2018-05-08得票数 1
字符串本身包含多个元素，如数组。每个元素包含多个键值对。一些值还可以包含多个键值对，例如，下面的"address“属性。) AS phone, FROM people lateral view explode(split(regexp_replace(
regexp_replace(info, &
浏览 8提问于2016-09-30得票数 0
对于AWS来说，在堆栈溢出上有多个答案来设置--conf表参数。然而，有时在一个作业中，我们需要在一个作业中设置多个-conf键值对。用表-conf参数的值中的空格分隔配置键值参数。在表-conf参数的值中用逗号分隔配置键值参数。将--conf的值设置为让--conf字符串分隔每个键值。如何在AWS Glue中设置多个-conf表参数？
浏览 1提问于2019-04-04得票数 7
回答已采纳
1回答
我通过齐柏林飞艇使用Spark 2.2.1。现在我的spark读取代码如下： val data = spark.read.option("header", "true").option("delimiter", ",").option("treatEmptyValuesAsNulls","true").csv("listings.csv") 我注意到，当我使用.show()函数时，单元
浏览 14提问于2020-04-23得票数 0
我正在使用Spark 2.3.2。 在我的Dataframe中的一列中，我顺序地执行了许多spark.sql.functions。如何将这个函数序列封装到一个用户定义函数(UDF)中，以使其可重用？ 下面是我的示例，重点是"columnName“这一列。)+----------++----------++----------+
*/ 下面是应用</
浏览 30提问于2020-10-05得票数 1
回答已采纳
我通过读取RDBMS表创建了一个数据文件，如下所示：在将数据摄取到HDFS上的Hive表之前，我们被要求在具有字符串数据类型的dataframe列上应用我就是这样应用它的： if (x.dataType == StringType)
"<
浏览 0提问于2018-08-25得票数 0
回答已采纳
输入数据 (2,"Spark framework"),预期数据 (2,"Spark framework"),
(3,"spring framework")).toDF("id&
浏览 2提问于2018-07-02得票数 1
回答已采纳
我尝试了以下几点：spark.sql("select regexp_replace('ABC\123XYZ\456','[\\][\d][\d][\d]',''
浏览 10提问于2022-10-13得票数 0
回答已采纳
2回答
dec", StringType), StructField("amount",IntegerType), StructField("enabled",BooleanType)))
val rdd = spark.sparkContext.parallelize
浏览 0提问于2017-11-07得票数 1
我有一个数据帧yeadDF，它是通过读取一个关系数据库表创建的，如下所示：regexp_replace(regexp_replace(regexp_replace(regexp_replace(regexp_replace(%s, E'[\\\\n]+' ', &
浏览 6提问于2018-08-21得票数 0
回答已采纳
我刚开始使用pyspark，而且我很难将python函数转换为pyspark。clean', clean_html(df.summary))怎么做才是对的
浏览 1提问于2019-06-01得票数 0
回答已采纳
我想把下面的RDD转换成键值对，每个键有两个值。第一列应该是键，第二列和第三列应该是值。如何使用scala中的Case类执行转换？scala> input[Hardware,Hardware,null][Adventure,Adventure,null]
浏览 0提问于2018-05-29得票数 0
name_value"[quality1 -> good, quality2 -> excellent]" 如何使用
浏览 42提问于2021-10-04得票数 0
回答已采纳
1回答
应用程序要求我在KeyChain iOS.When中根据键值对存储多个敏感数据，我在Xamarin中使用SecKeyChain，它只存储一个键值对。如何在Keychain-ios、Xamarin-iOS中存储多个键值对？
浏览 1提问于2016-05-17得票数 1
config_file_path) config_file.close()
val inputDF = spark.read.optiongetClass.getReso
浏览 28提问于2019-04-05得票数 1
现在我想对结果进行base64 64编码，所以ba应该变成YmE=：+-----------------+| YmE= |1 row in set (0.000 sec)
但是，当我在to_base64中应用regexp_replace函数时，它不再解释我的反向引用并编码\2\1而不是ba
浏览 0提问于2019-09-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
