用于匹配字符串的Pyspark函数

文章/答案/技术大牛

发布

2回答

在PySpark中提取几个正则匹配

python、regex、apache-spark、pyspark、pyspark-dataframes

我目前正在编写一个regex，我想在PySpark Dataframe的专栏中运行它。此正则表达式仅用于捕获一个组，但可以返回几个匹配的。我遇到的问题是，PySpark本机regex的函数(regexp_extract和regexp_replace)似乎只允许组操作(通过$ operand)。有没有一种方法(PySpark函数，而不是python的re.findall-基于udf

浏览 4提问于2019-11-19得票数 5

回答已采纳

1回答

apache-spark、pyspark、apache-spark-sql、string-matching

浏览 19提问于2020-12-26得票数 0

1回答

使用字符位置向后搜索以查找子串的位置

mysql、pyspark-sql

你好，我是新来的派斯帕克。我正在尝试用Pyspark做类似的事情。Oracle：INSTR('Corporate Floor','or', -3, 2)结果:2但是继续得到

浏览 1提问于2019-04-15得票数 1

1回答

如何将电火花列(pyspark.sql.column.Column)转换为火花放电数据？

apache-spark、pyspark、apache-spark-sql

我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame带有时间戳字符串的pyspark列我想要的

浏览 4提问于2021-11-19得票数 0

回答已采纳

1回答

使regex只匹配捕获组。

regex、split、pyspark

由于我目前正在使用的技术(PySpark API)，我需要调整正则表达式，以便完全匹配对应于捕获组。此函数根据匹配的子字符串(而不是捕获组)拆分输入字符串。因此，我需要匹配\s+字符(目前只捕获这些字符)。我试图扩展积极的展望，将\d+\s+可能存在的

浏览 2提问于2019-12-03得票数 1

回答已采纳

1回答

将不带返回值的Python Lambda函数转换为Pyspark

python、google-cloud-platform、pyspark、user-defined-functions、google-cloud-dataproc

我在Python语言中有一个有效的lambda函数，它可以计算dataset1中的每个字符串与dataset2中的字符串之间的最高相似度。在迭代期间，它将字符串、最佳匹配和相似度以及其他一些信息写入bigquery。没有返回值，因为该函数的目的是向bigquery数据集中插入一行。这个过程需要相当长的时间，这就是为什么我想使用Pyspark和Dataproc来加速

浏览 16提问于2019-07-19得票数 2

回答已采纳

1回答

如何使用PySpark的RegexTokenizer从字符串中删除数字？

python、apache-spark、pyspark

我想使用PySpark的RegexTokenizer从DataFrame列中删除5位或更多位的数字。我可以使用下面的代码提取这些数字，但有人知道我如何删除它们吗？我的代码：如果字符串是"123

浏览 0提问于2019-02-13得票数 0

4回答

如何使用PySpark在另一列中查找子字符串列的位置？

apache-spark、pyspark、apache-spark-sql

如果我有一个有两个列的PySpark DataFrame，text和subtext，其中subtext肯定会出现在text的某个地方。如何计算subtext在text列中的位置？------------------------+---------+----------+ 注意:我可以使用静态text/regex来完成这一任务，而不需要发布问题，我无法找到任何资源来使用特定于行的text

浏览 3提问于2021-01-21得票数 2

回答已采纳

2回答

根据第一个字符的外观分隔字符串列

python、regex、apache-spark、pyspark

我希望根据字符的第一次外观将星火DataFrame的列划分为两个不同的列，在本例中是下划线("_")。，根据第一个下划线从左到右的位置，在两个不同的列中分隔列城市。最终想要的表格应该是这样的：1 1.8 newyork 3434_north 4(、等)，而是用字符串上的所有特定字符进行拆分；或者根据<em

浏览 0提问于2018-07-26得票数 3

回答已采纳

1回答

字符串中的Pyspark双字符替换避免未映射到pandas或rdd的特定单词

python、pandas、apache-spark、pyspark、apache-spark-sql

我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来

浏览 7提问于2021-03-15得票数 0

回答已采纳

1回答

如何删除火花放电数据栏中的引号“”

apache-spark、pyspark、apache-spark-sql

+-------+-----+|"asasa"| 8888||"wewwe"|99999|我想要的是

浏览 1提问于2019-11-08得票数 2

1回答

PySpark DataFrame上的求和运算当类型良好时给出TypeError

python、apache-spark、dataframe、pyspark

我在PySpark中有这样的PySpark(这是采取(3)的结果，数据格式非常大)：df = [Row(owner=u'u1', a_d=0.1), Row(owner=u'u2', a_d=0.0), Row(owner=u'u1', a_d=0.3)]b = df.groupBy

浏览 4提问于2016-04-19得票数 25

回答已采纳

1回答

使用parser.parse将任何类型转换为日期时间

python、pyspark、python-datetime

我使用以下函数解析PySpark中的字符串我的约会格式是：date"22-Jan-2021 00:00""10-Feb-2020 14:00" 当我将func应用到dat

浏览 4提问于2022-01-06得票数 1

回答已采纳

1回答

将函数应用于PySpark dataframe中的列

dataframe、pyspark

我是新来的火花，PySpark说得更具体一点。col_2 | col_3banana | yellow | 2011-01-14 10:26:33.231 我有一个函数convert()，它将像2016-01-28 00:56:55这样的日期时间字符串(可能有毫秒也可能没有毫秒)转换为表示datetime的浮点数，比如1453971415。将这个函数应用于我的</e

浏览 4提问于2020-10-01得票数 0

回答已采纳

1回答

检索Azure数据库中“-”符号之前的字符

databricks、azure-databricks

我想从“-”符号之前的列中提取数据。我可以很容易地使用the来完成这个任务，但是当我在中做同样的操作时，我会遇到错误。如果有这样的符号，我也希望能够检查列，如果不存在，我不想提取数据。[DimEmployee] 请问如何在Databricks中得到相同的结果？

浏览 6提问于2022-03-07得票数 0

回答已采纳

1回答

创建一个新列，详细说明一个PySpark数据row中的行是否与另一列中的一个行匹配。

python、dataframe、apache-spark、pyspark

我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name。我试图创建一个连接这两个表的函数，并创建一个新列，如果两个数据文件中存

浏览 3提问于2021-12-11得票数 0

1回答

我是Apache Spark的新手，正在运行一个单词计数示例。在我得到了我的单词列表和它们的单词计数后，我现在想要过滤出4个特定的单词。我写了下面的代码： output_result = list_RDD.filter(lambda x: "can" in x[0]) 当我运行它的时候，我得到了所有包含"can“的单词，比如"canada有没有办法让它遍历我要查找的单词列表？例如，我想搜索的单词是'c

浏览 39提问于2021-10-06得票数 2

回答已采纳

1回答

AWS Glue -如何排除字符串不匹配日期格式的行

apache-spark、pyspark、aws-glue

我有一个数据列的数据集。该列通常为'dd/MM/yy‘格式，但有时它有垃圾文本。我希望最终将列转换为日期，并将垃圾文本作为空值。我一直试图使用resolveChoice，但是它导致了所有的空值。

浏览 0提问于2019-05-23得票数 0

1回答

阵列如何使用

python、pyspark

我想从一个列中提取一些字符串，它的类型是Array of strings。我使用了regexp_extract函数，但是它返回了一个错误，因为regexp_extract只接受一个字符串。我开始这样做，但它不起作用，因为标题是一个字符串数组。

浏览 1提问于2019-10-14得票数 4

回答已采纳

1回答

在火花中某个特定位置之后获取子字符串的位置

python、apache-spark、pyspark、apache-spark-sql

我有一张这样的桌子：| id | word |+-----+-----------------------+ 只有当子字符串(is)发生在第三个位置之后时，我才想获得它在word列中的位置。

浏览 4提问于2021-03-01得票数 1

回答已采纳

点击加载更多

在PySpark中提取几个正则匹配