1回答
我是Python/PySpark的新手，目前在Databricks中使用它。我有以下列表 ('{"name":"leo", "object" : ["191.168.192.96", "191.168.192.99"]}',), ]然后，jsonRDD = sc.parall
浏览 6提问于2019-11-15得票数 0
回答已采纳
我在我的pyspark上使用pyspark.ml.feature.StopWordsRemover类。它有ID和文本列。除了提供默认的停止词列表外，我还想添加自己的自定义列表，以从字符串中删除所有数值。from pyspark.ml.feat
浏览 0提问于2017-04-26得票数 9
回答已采纳
我想知道如何使用Python2删除Pyspark Dataframe中的变音符号。我需要像这样的东西from pyspark import SparkContextfrom pyspark.sql.types import StringType
df = sc.parallelize([(u
浏览 1提问于2019-01-16得票数 0
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。我需要直接在pysp
浏览 7提问于2021-03-15得票数 0
回答已采纳
1回答
我想用regexp_replace替换Pyspark中字符串的一部分，比如“www.”。和“.com”。是否可以传递要替换的元素列表？my_list = ['www.google.com', 'google.com','www.goole']from pyspark.sql.functions和上面示例中的.com
浏览 14提问于2018-08-21得票数 1
回答已采纳
我在python/pyspark中有一个数据框架。这些列具有点(.)这样的特殊字符。空格括号(())和括号{}。以他们的名义。现在，我想重命名列名，如果有点和空格，用下划线替换它们，如果有()和{}，那么从列名中删除它们。df1 = df.toDF(*(re.sub(r'[\.\s]+', '_', c) for c in df.columns))
这样，我就能够用下划线替换点和空格，而不能执行第二位，也
浏览 3提问于2017-03-12得票数 2
回答已采纳
4回答
如何用其本身的子字符串替换列？我正在尝试从字符串的开头和结尾删除选定的字符数。from pyspark.sql.functions import substringpdf = pd.DataFrame({'COLUMN_NAME':['_
浏览 3提问于2017-10-14得票数 19
回答已采纳
IPYTHON_OPTS="notebook --port 8889 \--ip='*' --no-browser" pyspark但是当我切换到Spark2时，我得到以下错误：
在Spark 2.0+中删除了IPYTHON和IPYTHON_OPTS。将它们从环境中删除，并改为设置<
浏览 7提问于2017-03-08得票数 4
我有一个超过10000行的pyspark数据帧。我想用第一次出现的单词替换连续的单词。我希望这是在pyspark中完成的。 这是包含单词列表的pyspark表。每个单词列表都与每个日期相关。我想要的结果如下所示，在每一行中输入单词，字符串。
浏览 14提问于2020-10-31得票数 0
2回答
我想替换pyspark rdd中的多个字符串。我想替换这些字符串的长度顺序-从最长到最短。操作最终将取代大量的文本，因此良好的性能是一个考虑因素。问题示例： replace, text, is replacement1, replacement2, replacement3
也就是说，如果找到字符串替换<
浏览 0提问于2018-12-22得票数 1
4回答
我试图从所有列中删除所有特殊字符。我使用以下命令：是否有更简单的方法在一个命令中
浏览 2提问于2020-06-18得票数 6
回答已采纳
1回答
所以我在寻找是否有人知道删除";“的方法。我感谢你的时间，谢谢你！
注意:对不起，如果我写错了，英语不是我的母语。
浏览 5提问于2022-09-28得票数 0
看一下pyspark，我看到translate和regexp_replace可以帮助我处理存在于数据框列中的单个字符。我想知道是否有一种方法可以在regexp_replace或translate中提供多个字符串，以便解析它们并用其他东西替换它们。
用例:删除A列中的所有$、#和逗号(，)
浏览 0提问于2018-06-09得票数 10
回答已采纳
当我用groupBy()替换spark数据帧上的distinct()时，我在我的pyspark代码中看到了很大的性能改进。但是我不能理解背后的原因。整个意图是从数据帧中删除行级重复项。我尝试在谷歌上搜索groupBy()和distinct()在pyspark中的实现，但没有找到。
有没有人能给我解释一下或者给我指出正确的方向？
浏览 0提问于2018-09-11得票数 6
3回答
我遇到过一些帖子，演示如何在列表中找到字符串并进行替换，但我很难将搜索概括为字符串的一部分。例如我想找到所有以‘以上’开头的字符串，我已经能够使用any对列表进行一些最小的搜索，并留下下面的空格'above '，但是我不知道如何替换我找到的内容。我试图创
浏览 1提问于2018-09-19得票数 1
回答已采纳
我有一个firstname.lastname@email.com格式的电子邮件列表。我想创建一个新的列，只有从电子邮件地址提取的名字和姓氏。|jane.doe@email.com|vp |jane doe|我如何删除句点，用空格替换它，然后将@后的所有内容删除到一个新列中，以获得上面示
浏览 14提问于2022-10-04得票数 0
回答已采纳
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。这些变量为带有字符串的Dataframe类型。错误：
只能将字符串(不是Dataframe)连接到字符串。J
浏览 0提问于2021-03-05得票数 0
如何删除字符串中的文本列表？本质上是有一个URL列，并且希望避免非常长的regexp和多个嵌套的替换函数。
有没有一种方法可以声明一个文本列表，比如"http"，"www.“等，并一次性将它们从列中删除？
浏览 3提问于2021-03-12得票数 0
回答已采纳
我在Hadoop中有一个表，其中包含70亿个字符串，这些字符串本身可以包含任何内容。我需要从包含字符串的列中删除每个名称。一个示例字符串是“John to to the park”，我需要将“John”从其中删除，理想情况下只需替换为“name”即可。为了支持这一点，我有一个最频繁出现的20k名称的有序列表。 我有权访问Hue (Hive，Impala)和Zeppelin (Spark，Python和库)来执行此操作
浏览 23提问于2019-05-30得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
