1回答
我想从pyspark数据框架的一个列的元素中删除所有-。111-345-789 144-900-888 ....
浏览 7提问于2021-02-26得票数 0
回答已采纳
这个问题在这里已经有答案了 ： 如何在Spark SQL中使用连字符转义列名 (3个答案) 列名中包含破折号/连字符的PySpark Sql (1个答案) 使用selectExpr选择其中包含特殊字符的spark dataframe列 (1个答案) 如何在SparkContext中处理dash的SQL请求 (1个答案) 3个月前
浏览 70提问于2020-11-30得票数 0
字符串数据类型的分区列中有两种类型的值：例如，有分区列值20200301、2020-03-05、2020-05-07、20200701等。我需要使用DDL语句删除分区小于20200501的分区，如当我使用yyyy-MM-dd格式删除分区时，只删除2020-03-0
浏览 4提问于2020-07-17得票数 1
回答已采纳
1回答
我是PySpark的新手。我有一个列名中包含连字符的csv文件。我可以成功地将文件读取到数据帧中。然而，当将df写入orc文件时，我得到一个错误，如下所示-当我通过删除连字符来重命名列时，我可以将数据帧写入但是我需要列名有连字符，因为
浏览 32提问于2021-02-13得票数 0
10回答
我有一根这样的绳子；我有一个方法，我想插入逻辑，在4个字符后面添加连字符到'text‘变量。所以，输出应该是这样的；在上述“文本”变量逻辑中添加连字符应在此方法中；{// append
浏览 3提问于2012-07-11得票数 6
回答已采纳
2回答
我正在将csv加载到pyspark dataframe中。我正在尝试删除列标题中的空格和更多特殊字符，如"("，")“和"/”。 我可以删除列标题中的空格，如下所示。它只删除列中的空格，而不删除特殊字符。 我试了一下，它起作用了。df.withColumnRen
浏览 63提问于2020-12-15得票数 0
回答已采纳
2回答
如何根据大小更改列值
、、、
我在PySpark设置中有一个dataframe。我想更改一个列，比如它叫做A，它的数据类型是"string“。我想根据它们的长度来改变它的价值。特别是，如果一行中只有一个字符，则希望将0连接到末尾。“修改”列的名称必须仍然是A。这是用于使用PySpark3的木星笔记本。这就是我迄今尝试过的：
df = df.withColumn("A&quo
浏览 2提问于2019-06-17得票数 1
回答已采纳
1回答
我在R中有一列数据，如：我想移除字符串末尾的连字符，同时将连字符保持在字符串中间。("+-\\w", "", names$name)
# the desired output is "ABC", &quo
浏览 2提问于2015-02-05得票数 1
回答已采纳
1回答
我有这样的要求：我们有一个API，它将给我们列的模式。emp_name是字符串(50)，emp_salary是十进制(7，4)，joining_date是时间戳等等。
我必须使用来自API的模式创建一个parqu
浏览 4提问于2022-07-30得票数 -1
回答已采纳
我尝试向df添加一个包含字符串数组的空数组的列，但最终添加了一个字符串数组的列。我试过这个： import pyspark.sql.functions as F
df = df.withColumn('newCol', F.array([])) 我如何在pyspark中做到这一点？
浏览 91提问于2019-08-28得票数 9
回答已采纳
2回答
我想在PySpark 2.2中子串数组列的每个元素。我的df类似于下面的df，它类似于this，尽管我的df中的每个元素在连字符分隔符之前都有相同的长度。hiiii, abbbb, xyzhu] |
+---------------------------------+----------------------+ 我试着根据this答案调整前一个问题中的自定义函数，以获得上面ne
浏览 24提问于2021-09-09得票数 0
回答已采纳
我有一个30列的csv文件。我只需要从第30列删除连字符。(第3列和第4列包含连字符，但不应该删除它。)我尝试了下面的awk命令来实现这一点。但它删除的记录很少，我找不到原因。awk -f=',' 'gsub= "\\-","",$30)' OFS=, input.csv > o
浏览 0提问于2018-11-20得票数 0
4回答
我需要帮助了解如何在值为8601881,9700,800,2170的列中添加连字符预期产出如下: 860188-1,970080-0,217-0
浏览 0提问于2019-07-23得票数 0
回答已采纳
2回答
假设我有dataframe，其中包含列中的值，如：ABC93890380380XYZ3898302MGE8983_ABZ我想要修剪这些值，例如，删除前3个字符和删除最后3个字符，如果它以ABZ结尾。from pyspark.sql import functions as f
new_df = df.withColumn("new_column
浏览 6提问于2022-04-08得票数 2
回答已采纳
1回答
文件videos.csv如下所示099acca-8888-48ca,Action,Comedy
在Scala中，Scala可以使用.drop(1)删除RDD列1，以便对所有行删除rdd列1，例如482cal-2792-48da和099acca-8888-48ca。我想知道如何在PySpark rdd中PySpark中这样做，如下所示，在第2行代码<e
浏览 2提问于2016-12-29得票数 3
2回答
我想做一件简单的事。我想把所有的事件统计成2分钟的时间戳。File "/usr/hdp/current/spark2-client/python/pysparkanswer, self.gateway_client, self.target_id, self.name)
File "/usr&#
浏览 1提问于2018-05-15得票数 1
回答已采纳
我的数据库中有一个列，其中包含以连字符开头或结尾的条目。我希望找到这些行，如果它是字符串中的最后一个或第一个(或两个)字符，则删除/替换连字符。我现在所拥有的：sample-value-two-sample-value-foursample-valu
浏览 16提问于2017-02-03得票数 1
回答已采纳
这是我在创建下面存储的进程时得到的错误：Incorrect syntax near ','。我试图用连字符和逗号分隔CONCAT函数中的列，但如果我删除连字符和逗号，它就可以工作。我试图用连字符分隔concat函数中的第一列和第二列，使用逗号分隔第二列和第三列</e
浏览 42提问于2019-07-31得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
