我想删除DataFrame中所有非数字的列。我正在尝试复制一些Pandas代码，如下所示：对于PySpark DataFrame，我该如何做到这一点
浏览 13提问于2020-03-12得票数 0
回答已采纳
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col", F.when(((F.co
浏览 8提问于2019-09-01得票数 1
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
我想使用PySpark的RegexTokenizer从DataFrame列中删除5位或更多位的数字。我可以使用下面的代码提取这些数字，但有人知道我如何删除它们吗？我的代码：
regexTokenizer = RegexTokenizer(inputCol="description", outputCol="tokenized_description&q
浏览 0提问于2019-02-13得票数 0
2回答
我想过滤掉所有包含符号“在列”"Col1“中的行。11" A123456 A343535 ACol1 Col2252653 A为此，我决定过滤掉所有非数字值：
df.filter(when(is_digit_udf(df["Col1"]))).s
浏览 0提问于2019-07-08得票数 1
回答已采纳
1回答
我正在处理一个pyspark dataframe，并尝试查看是否有一种方法可以提取spark dataframe中第一个非零元素的索引。我自己添加了索引列，因为pyspark不支持它，而不是pandas。
浏览 29提问于2021-10-08得票数 0
下面是我的代码，它简单地组合在一起，并平均设置行。为了我的一生，我不明白为什么在最终结果中会有一列被删除。import pandas as pd
incr = 10 fori in range(0,len(dataframe1.index),incr):
tmp = dataframe</em
浏览 2提问于2017-03-30得票数 1
回答已采纳
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataF
浏览 9提问于2017-01-12得票数 1
回答已采纳
7回答
我有一个PySpark Dataframe，其中有一列strings。如何检查其中的哪些行是数字行。我在PySpark的中找不到任何函数。values,['ID',])+-----++-----+|75647||8758K|+-----+
在Python中，有一个函数.isDigit()，如果string
浏览 0提问于2018-12-12得票数 17
回答已采纳
在我的应用程序中，我加载了如下结构的文本文件：
source = pandas.read_table(inpu
浏览 2提问于2012-10-04得票数 54
回答已采纳
我有一个包含两列的数据帧，其中包含数字，我需要按行而不是按列对数据帧进行排序。到处都给出了如何按列对dataframe进行排序，但我找不到如何在pyspark中对dataframe的所有行进行排序。
浏览 0提问于2017-11-14得票数 1
2回答
如果dataframe中的任何列包含非二进制(0或1)数字，如何排除行。不是根据特定的列排除，而是针对所有的列。 [0, 0, 0, 0, 0, 1, 0],df = pd.Da
浏览 2提问于2020-09-18得票数 1
回答已采纳
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的总和来更新
浏览 4提问于2015-09-16得票数 12
当该行上的列值为零时，我想从行中删除该列。我不想从Dataframe中删除该列。仅当列值为零时，我才从该特定行中删除该列。我用的是Pyspark。
浏览 19提问于2020-04-09得票数 0
给出一个具有非空uuid列和可空uuid列的表设计，如何使用Python3.7.9与Pysmack2.4.3数据table和PostgreSQL42.2.18.jar驱动程序进行插入？Pyspark没有生成正确的INSERT语句，或者postgres驱动程序将单词NULL视为字符而不是关键字。在pyspark.sql.types中没有uuid类型的条目。剩下的唯一方法似乎是将datafram
浏览 9提问于2020-11-03得票数 4
>>> a>>> b>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_dateuser_id: bigi
浏览 219提问于2015-04-13得票数 123
我发现PySpark有一个名为drop的方法，但它似乎一次只能删除一列。关于如何同时删除多个列有什么想法吗？selectedMachineView = machineView.drop([['GpuName','GPU1_TwoPartHwID']])
/usr/hdp/current/spark-client/python/pyspark/sql/
浏览 1提问于2016-02-28得票数 42
回答已采纳
2回答
我遇到过这样的情况:我的列中可能有空值，需要在一个组中求和。 如果我在组中遇到null，我希望该组的和为null。但是默认情况下，Pyspark似乎会忽略null行，并对其余非NULL值求和。dataframe = dataframe.groupBy('dataframe.product', 'dataframe.price'
浏览 87提问于2021-01-18得票数 1
回答已采纳
spark_my_df = sc.createDataFrame(my_df) 388
浏览 1提问于2016-11-10得票数 34
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？
浏览 57提问于2021-06-18得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
