1回答
percentageB101 0.3B303 0.25 正如您在上面看到的，我必须根据ID列获取threshold值。如果为ID = B202，则阈值将获得新值并变为threshold = 0.18。同样的逻辑也适用于其余部分。像这样，我有成千上万的价值，我想用一种简单的方式来做这件事。我试过这个： threshold = df.first()['ID'] 但我认为应该有一个循环来遍历所有的值。 在Pyspar
浏览 12提问于2021-10-28得票数 0
1回答
我希望根据每一行上给定列的值复制DataFrame中的所有行，而不是索引每一行。3 1T1 3 3T2 2 2idx = [lit(i) for i in range(1, 10)]
df = df.withColumn('Index', explode(a
浏览 0提问于2018-06-29得票数 3
回答已采纳
2回答
具体来说，我想使用基于HDFS的PySpark进行数据清理。我对这些东西很陌生，所以我想问问怎么做？04 b abc 1清除所有条目后，第2行<2, , abc, 0>应该具有attrB的默认值或估算值，第3行或第3行应该被删除。那么，我如何用PySpark实现这一点呢？
浏览 4提问于2017-02-19得票数 2
回答已采纳
2回答
如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。import pysparkfrom pyspark.sql.window import Window
from pyspark.sql.function
浏览 3提问于2022-06-30得票数 0
3回答
我需要根据以下数据帧中的每个索引对基于行的值进行分组。| 2000 | acnt2 |2-4-21 |由于索引立场对于每一行和日期都是唯一的，所以我需要将行值分组如下|index|amount | dept | date |
+-----+--1000,2000
浏览 10提问于2022-03-21得票数 0
回答已采纳
2回答
如何根据行号/行索引值的值删除Pyspark中的行值？
我对Pyspark (和编码)很陌生--我尝试过编码一些东西，但是它不起作用。
浏览 1提问于2019-04-08得票数 3
回答已采纳
因此第一行保持不变，即(1，5)第三行(7，10)变成(8，11) (因为它与前一行(5，8)相交)。
因为第四行与更新后的第三行不相交，所以我们不改变它的值。当我们使用循环时，这是一个简单的问题，但我想在pyspark中实现，而不使用任何循环。我刚接触pyspark，找
浏览 19提问于2020-02-07得票数 1
2回答
0.0period 0.58generator 0.0generator 0.0当我尝试下面的命令subset(dataset, AC == 0)时，所有的类都被检索到了，这是我不想要的。
浏览 0提问于2018-11-19得票数 1
我有一个PySpark DataFrame，它有一个字符串列text和一个单独的list word_list，我需要计算在每个text行中出现多少个word_list值(可以多次计数)。6 || this is a text | 2 |
对于文本的第一个值，在第二行中，word_list中唯一出现的值是"o“，并出现两次。在text的第三个
浏览 1提问于2022-02-10得票数 1
回答已采纳
1回答
我已经使用迭代器显示了一个表，每行都有一个单选按钮，基于所选的行，我想通过单击一个按钮来执行编辑和删除操作。如何通过单击编辑或删除按钮检索所选行中的所有值？STATUS"/></td> </tr>
使用s:
浏览 1提问于2013-03-26得票数 0
2回答
我有一个具有如下标题的数据集：我正在尝试基于groupBy列和每一列的行值之和(列数保持不变)进行groupBy。但当我用：import pyspark.sql.functions as F
df = df.groupBy('State').
浏览 3提问于2022-04-19得票数 0
我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。
我想知道什么是“更好”的方法(更多的“标准”方法)。要么使用另一个具有天气列(此列上的join )和一个"new_data“列来添加这些新值(5行和2列)的小数据行进行连接，要么使用一个字典将数据的每一行映射为一个以天气值作为键和要添加的新数据作为值的字典, "snow": m, "other&qu
浏览 2提问于2021-05-26得票数 2
回答已采纳
基本上，我有一个基于以下示例SQL查询的SQL可更新报告：根据这份报告，我为B列创建了一个基于命名LOV的选择列表--我还为该列分配了id"lov_select“我的问题和不确定如何做到这一点，是，由于此报告可以按行变化，假设此报告返回3行，基于从B列选择列表中选择的值，我希望在B列选择列表中使用此值从表中检索另一个值
浏览 0提问于2012-11-07得票数 1
回答已采纳
1回答
我的问题是基于类似的问题，这里的，不同的是，我有一个值列表，而不是每列一个值。例如：df = sqlContext.createDataFrame([Row(v1=[u'2.0', u'1.0', u'9.0'], v2=|[2.0, 1.0, 9.0]|[9.0, 7.0, 2.0]|我试图得到的是类似于zip元素的东西--对于
浏览 6提问于2017-08-29得票数 1
回答已采纳
试图在以下列表中的任何列中存在值时提取行。def valuesAny(string, array): return False return True
不确定如何将行以这样的方式传递给
浏览 4提问于2022-08-09得票数 0
回答已采纳
我在pyspark中有一个数据框架，如下所示 df = spark.createDataFrame([('123', '2021-01-01', 1815, 9876), | 223|2021-02-01| 1828|9878|
+------+----------+------+----+ 此数据框基于基于以下内容 1) For each group where numbe
浏览 11提问于2021-05-04得票数 1
回答已采纳
2回答
我正在运行以下代码段，from pyspark.sql import SparkSessionspark = SparkSession.builder.appName('SparkByExamples.com').department").orderBy("salary")
df.with
浏览 4提问于2021-04-02得票数 1
回答已采纳
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
2回答
让我们假设拥有这个Pyspark dataframe：y = np.random.randint(1, 100, 1000)spark_df = spark.createDataFrame(df)lst = [10, 20, 30]
我想检索所有3 (=len(lst
浏览 5提问于2021-09-28得票数 4
回答已采纳
1回答
根据组中的其他项为组中的项分配值
、、、、
我试图根据输入字符串是否位于组中另一个字符串的开头为组中的每一行分配一个值。例如，"hello“位于"hello world”的开头，因此这两种类型的值都被指定为“在一起”。“再见”没有分配“在一起”值，因为它不在组中另一个字符串的开头。spark.createDataFrame(input,['group','input']).show(10,truncate=False)
以下是所需的输出：
浏览 5提问于2019-06-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
