我有以下名为A的数据帧，它由两列组成： value的列类型为整型。我想要将输出值更改为类似整数的值。因此，例如，第一行的预期结果是-782543，第五行是-614278。我想我只需要使用Pyspark从这一列中删除逗号。 有什么建议吗？非常感谢！ ?
浏览 134提问于2021-11-01得票数 0
回答已采纳
3回答
移除化工厂中列中的逗号。
、、、
我的DataFrame中有两个列，第一列和第二列。两列都包含空单元格。---------------------------| -----------------------------
我需要删除逗号，以便计算DataFrame中每一行的TF。为此，我将每行中的字符串列表拆分为基于逗号的单词列表。我查看了以下删除<
浏览 5提问于2017-10-23得票数 0
回答已采纳
1回答
在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。
问题：我们如何才能强迫pyspark显示所有不带小数的整数值？例如，3.0应该显示为3。from pyspark.sql.types import
浏览 7提问于2022-05-21得票数 0
1回答
我有一个名为Incito的数据帧，在该数据帧的Supplier Inv No列中由逗号分隔值组成。我需要通过使用pyspark适当地重复那些逗号分隔值来重新创建数据帧。我正在使用下面的that.Can代码，我可以将其转换为pyspark吗？calculate lengths of splits
# create ne
浏览 10提问于2021-05-18得票数 0
回答已采纳
如何从元组中的整数中删除逗号？FROM highscore WHERE userID=4") print(x)Output:(442,)有人能告诉我如何删除整数末尾的
浏览 2提问于2022-04-28得票数 0
回答已采纳
我看到一些PySpark dataframe有像2、3、、4这样的值列表，逗号之间的这些值为null，但它们在列表中不是'null‘。有人能建议这类列表是如何产生的吗？
谢谢你，J
浏览 4提问于2021-12-20得票数 -1
回答已采纳
我有一个pyspark dataframe，它包含N个包含整数的列。某些字段也可能为空。f为前缀的列组合成一个新列中的pyspark数组。features_filtered = features.select(F.concat(* features.columns[1:]).alias('combined')) 它返回null (我假设是由于初始dataframe中的null)
浏览 67提问于2020-06-18得票数 1
回答已采纳
当该行上的列值为零时，我想从行中删除该列。我不想从Dataframe中删除该列。仅当列值为零时，我才从该特定行中删除该列。我用的是Pyspark。
浏览 19提问于2020-04-09得票数 0
1回答
我列出我的数据帧以丢弃未使用的数据帧。首先，我使用下面的函数列出了我在其中一篇文章中找到的数据帧然后我试着从列表中删除未使用的。我在下面使用
浏览 0提问于2018-10-31得票数 4
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe
浏览 7提问于2021-03-15得票数 0
回答已采纳
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame有一个最大长度为52个唯一ints的
浏览 9提问于2017-01-12得票数 1
回答已采纳
1回答
嗨，谢谢你能帮我这个忙，我有一列数字(在本例中是字符串)。它们是像6,000这样的数字，我只想去掉这些数字中的所有逗号。我尝试过df.select("col").replace(',' , '')和df.withColumn('
浏览 8提问于2022-03-02得票数 1
3回答
我试图从csv文件中读取数据，将每一行分割成各自的列。我想要的结果是：这是5列。
但它只会失败很少的字符串，而对其他人
浏览 11提问于2016-08-09得票数 3
回答已采纳
3回答
我有一张很大的表格，代表分数(超过3000万点)。它可以有两个或树列表示x，y，z。不幸的是，其中一些列可能有字符串('nan‘、'nulo’、'vazio‘等)，而且它们可以在每个文件之间进行更改，但在表中是常量。--我需要一种方法来删除这个字符串，并用空值替换它们，或者删除行
我所做的是在图片和下面的代码中，还有更好的原因吗？更灵活？
浏览 6提问于2021-06-05得票数 2
我有如下数据集：我正在使用PySpark解析数据，然后使用下面的代码创建一个DataFrame：from pyspark.sqlimport Row fields = line.split(','spark.createDataFrame(minTemps)
我发现了以
浏览 2提问于2020-07-11得票数 0
回答已采纳
1回答
我正在使用spark版本2.3，并试图将spark中的蜂巢表读取为：from pyspark.sql.functions import*在这里，我添加了一个新列，其中包含了从system到现有的dataframe的当前日期
import pyspark.sql.functionsemp.emptable th
浏览 0提问于2018-12-06得票数 2
回答已采纳
1回答
我想从这个数组中删除条形码。我的数据看起来像下面给出的样本，您能帮助我使用PySpark从dataframe
浏览 1提问于2020-06-16得票数 1
回答已采纳
1回答
我是Python/PySpark的新手，目前在Databricks中使用它。"191.168.192.107"]}',),当我试着查看dummyJson中的元素，您会发现在每个元素/记录的结束括号之前都有额外<e
浏览 6提问于2019-11-15得票数 0
回答已采纳
1回答
我有两个关于(Py)火花的快速新秀问题。我有一个Dataframe，如下所示，我想使用multivariate_normal.pdf()计算“读取”列的可能性from pyspark.sql.functions import UserDefinedFunction
frompyspark.sql.types import DoubleT
浏览 0提问于2017-04-07得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
