我在pyspark dataframe中有以下udf函数。代码运行良好，除了当myFun1('oldColumn')为null时，我希望输出是空字符串而不是null。
浏览 3提问于2016-07-19得票数 4
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
2回答
如何删除星火表列中的空白
、、、、
我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。TORONTO | 4| 0|我尝试了以下函数pyspark.sql.functions导入regexp_replace
from pyspark.sql.funct
浏览 6提问于2017-12-03得票数 2
最初，我用-1填充了所有空值，以完成我在Pyspark中的联接。df = pd.DataFrame({'Number': ['1', '2', '-1', '-1'], 'Value'
浏览 6提问于2020-06-29得票数 5
回答已采纳
我希望用相邻列中的值替换一个列中的空值，例如，如果我有0,13,null我希望它是：0,13,3试着
df.na.fill(df.A,"
浏览 16提问于2017-03-24得票数 33
回答已采纳
我有一个以" null“作为字符串的Dataframe，我想将其替换为数据库中PySpark Dataframe中的SQL值null。 有没有人能帮个忙。我是Spark的新手。 谢谢。
浏览 38提问于2021-09-02得票数 2
通过StringIndexer，将字符串列转换为浮动列后，"None“值被替换为number。谢谢。(self.rawData, columnName)
@staticmethod
浏览 1提问于2018-04-29得票数 0
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col", F.when(((F.col("test_col") ==
浏览 8提问于2019-09-01得票数 1
1回答
似乎不支持替换无穷大值。我尝试了下面的代码，但它不起作用。还是我漏掉了什么？sqlContext.createDataFrame([(None, None), (1, np.inf), (None, 2)])或者我必须走一条痛苦的道路:将PySparkDataFrame转换为DataFrame，替换无穷大值，然后将其转换回PySpark DataFrame。
浏览 7提问于2015-12-23得票数 6
回答已采纳
我在PySpark中有一个数据帧，其中包含空空间、Null和Nan。我想要删除包含其中任何一个的行。我尝试了下面的命令，但似乎都不起作用。处理NULL、Nan或空格的最好方法是什么，以便在实际计算中不会出现问题？
浏览 8提问于2018-01-24得票数 1
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。例如：null null234 null365 187当我想对现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在<e
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我试图删除两个空格，并将其替换为DataFrame标头名称中的单个空格，但当我这样做时，它会扰乱标头。因为每一行的末尾是一个双空格，所以它也用一个空格来代替它，这样DataFrame看起来就很奇怪了。如何仅替换字母数字值字符串中的两个空格？
浏览 2提问于2020-11-30得票数 0
您能指导我使用pyspark(dataframe)在特定的hive分区上用新数据替换旧数据吗？每个月我都会收到一些县的记录。我想用该分区上的新数据替换旧数据。我已经使用pyspark开发了脚本，并在数据帧中加载了特定分区的新数据。现在，我想单独为该分区用新数据替换旧数据(因为基表很大)。
我尝试删除该分区并附加新的数据帧。在spark中，有没有办法只针对特定分区用新数据(New_dataf
浏览 8提问于2016-08-16得票数 2
我正在尝试创建一些POC代码，演示如何从PySpark调用Scala函数，结果是一个PySpark.RDD。sc.parallelize(List.range(1, 10))这就是我在PySpark端访问它所做的事情：>>> jrdd = foo.getTestRDD(sc._jsc.sc())>>
浏览 18提问于2017-05-05得票数 0
回答已采纳
1回答
我有一个包含4列的pySpark数据格式(C1、C2、C3和C4)。在第三列(C3)中，我有分类值，如V1、V2、V3，而在第四列(C4)中，我有相应的数值。
浏览 3提问于2016-11-24得票数 1
回答已采纳
例如：How to automatically drop constant columns in pyspark?因此，只有两个结果null和none NULL值的列也将被删除。 一个丑陋的解决方案是将spark dataframe中的所有null值替换为您确信在dataframe中其他地方不存在的值。
浏览 23提问于2021-04-01得票数 1
回答已采纳
df =pd.read_csv(r‘’file_name.csv‘，na_filter=True)
我想要知道na_filter=True的pyspark等效值，以将字符串格式中的"NA“值更改为适当的空值
浏览 6提问于2022-08-02得票数 0
回答已采纳
3回答
对于DataFrame，我需要转换空字符串(''，' '，.)到一组列中的空值。from pyspark.sql.functions import when, trim, col
.withColumn('size', when(trim(col('size
浏览 1提问于2022-06-10得票数 1
我在python/pyspark中有一个数据框架。这些列具有点(.)这样的特殊字符。空格括号(())和括号{}。以他们的名义。现在，我想重命名列名，如果有点和空格，用下划线替换它们，如果有()和{}，那么从列名中删除它们。df1 = df.toDF(*(re.sub(r'[\.\s]+', '_', c) for c in df.columns))
这样，我就能够用下划线替换点和空格，而不能执行第二位，也
浏览 3提问于2017-03-12得票数 2
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
