用于两列的PySpark上的regexp_replace

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、regexp-replace

我想基于两列在PySpark中执行一个非典型的regexp_replace :我在一个属性中有地址，在另一个属性中有城市，我想使用城市属性将其从地址中删除(如果存在)。london', 'london') ('id', 'address', 'city') new = regexp_replaceret

浏览 25提问于2021-07-02得票数 0

回答已采纳

1回答

将字符串从K转换为数千等，并删除中字符串之间的空格。

python、regex、pyspark

我想请求您的帮助，以转换字符串在一个列中的，Pyspark。Names |NumbersDavid |5000

浏览 1提问于2020-09-29得票数 0

2回答

使用时间、endsWith和Regex_replace时不可调用的“列”对象

python、dataframe、apache-spark、pyspark

我有一组简单的地址数据，如下所示；简单地用缩写替换街道名称：43421 Margarita St在我的电火花程序中，我只是简单地使用regexpfrom pyspark.sql import *from pyspark.sql.functions import col(col("address"),"Rd","R

浏览 6提问于2021-11-10得票数 0

回答已采纳

1回答

替换Pyspark中的多个元素

regex、pyspark

我想用regexp_replace替换Pyspark中字符串的一部分，比如“www.”。和“.com”。是否可以传递要替换的元素列表？my_list = ['www.google.com', 'google.com','www.goole']from pyspark.sql.functionsimport regexp_replace df = sc.p

浏览 14提问于2018-08-21得票数 1

回答已采纳

3回答

带有列表元素的Pyspark regexp_replace不会替换字符串

python、apache-spark、pyspark

我正在尝试使用regexp_replace替换数据框列中的字符串。我必须对dataframe列中的所有记录应用正则表达式模式。但是字符串并没有按照预期进行替换。from pyspark import SparkContext, SparkConffrom pyspark import sqlfrom pyspark.sql.functions import <e

浏览 1提问于2018-05-03得票数 1

回答已采纳

2回答

Pyspark删除dataframe列中的多个字符

pyspark、translate、regexp-replace

看一下pyspark，我看到translate和regexp_replace可以帮助我处理存在于数据框列中的单个字符。我想知道是否有一种方法可以在regexp_replace或translate中提供多个字符串，以便解析它们并用其他东西替换它们。用例:删除A列中的所有$、#和逗号(，)

浏览 0提问于2018-06-09得票数 10

回答已采纳

1回答

如何删除火花放电数据栏中的引号“”

apache-spark、pyspark、apache-spark-sql

+-------+-----+|"asasa"| 8888||"wewwe"|99999|我想要的是

浏览 1提问于2019-11-08得票数 2

1回答

正在读取Pyspark代码中的嵌套Json文件。pyspark.sql.utils.AnalysisException：

json、pyspark、explode

我正在尝试读取嵌套的JSON文件。我无法分解嵌套列并正确读取JSON文件。import * from pyspark.sql.functions import * from pyspark.sql import functions as F from pyspark.sql.functionsimport col, regexp_replace, split spark = SparkSession.builder.appName('Reminder').ma

浏览 174提问于2021-07-09得票数 0

2回答

如何删除星火表列中的空白

python、apache-spark、pyspark、databricks、sparktable

我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。下面是我的星火表的生成方式：cols = dataset.columns+----------+----导入regexp_replace from pyspark.sql.fu

浏览 6提问于2017-12-03得票数 2

1回答

使用pyspark中的regex将数字添加到字符串中最后一个字符之前

python、regex、apache-spark、pyspark、apache-spark-sql

我需要使用pyspark在字符串的最后一个字符(即在spark数据帧的列中)之前添加相同的数字。例如，假设我有字符串2020_week4或2021_week5。所以大概是这样的： df.withColumn('week', when(len(col("week")) == 10, regexp_replace(week, REGEX_PATTERN, "0")).otherwise(col("week

浏览 35提问于2021-01-26得票数 0

回答已采纳

2回答

如何从pyspark dataframe列中的列表中删除特定的字符串

python、pyspark

column_aname yyyy, age 25, country bbbb 我必须将列表与列进行比较，并从该列中删除列表中的值。

浏览 4提问于2021-12-29得票数 1

回答已采纳

1回答

删除配置单元列的前导字符和尾随字符

dataframe、hive、apache-spark-sql、hql

我有一个hive列，它在column.The列中有未知数量的前导和尾随双引号，在数据中也有双引号。例如，列如下所示 ? 我想要如下输出 ? 我已经写了一个pyspark代码，我只需要剥离它就行了，但是我想要一个hql的解决方案。我也尝试过regexp_replace，比如 regexp_replace(test,'^"|^""|""$|"$', "

浏览 3提问于2020-08-04得票数 1

回答已采纳

1回答

postgres regexp_substr的pyspark等效项无法提取值

python-3.x、postgresql、pyspark、apache-spark-sql

我正在尝试将我已有的一些postgres sql代码调整为pyspark sql。在postgres sql中，我使用regexp_substr函数解析出‘.5G’，如果它出现在productname列的字符串中。(我已经在下面包含了示例代码)。在pyspark方面，我尝试使用regexp_extract函数，但它只返回null。我将postgres中的regexp_replace函数的输出与pyspark进行了比较，结果返回了相同的

浏览 20提问于2021-01-26得票数 0

1回答

选择列内容长度<x的行

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我有一个，其中一个列的内容是string类型。我只想选择列上的字符串长度大于5的行。我尝试使用size函数，但它只适用于数组。from pyspark.sql.functions import col, explode, regexp_replace, size .where(siz

浏览 0提问于2019-03-20得票数 0

回答已采纳

2回答

使用PySpark将string类型列转换为struct并解压列

pyspark、apache-spark-sql

']|+------+--------+-----------------+ ("200", "[('doe', 'customer')]"), ['rowNum', 'infoCol'] fro

浏览 1提问于2020-08-19得票数 1

回答已采纳

2回答

Pyspark替换Spark dataframe列中的字符串

python、apache-spark、pyspark

我想通过替换子字符串在Spark Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么？在我当前的用例中，我有一个想要规范化的地址列表。

浏览 0提问于2016-05-05得票数 54

回答已采纳

1回答

从dataframe中删除标点符号不起作用

dataframe、apache-spark、pyspark

我是新来的火花和文字处理。有人能就下面的问题提出一些建议吗？我想删除dataframe列中的所有标点符号。我在网上看到了一些与这个主题相关的帖子，但我仍然不明白为什么我的代码不能工作。如果我删除单个标点符号，例如句号，这似乎是可行的。commaRep = udf(lambda x: x.replace('', ' ')) df=df.withColumn

浏览 1提问于2022-02-10得票数 0

1回答