我有一个scala函数，它接受一个spark dataframe并返回一个单值，也就是说两个值。这个函数很复杂，使用在DataFrame类中定义的聚合，调用其他java库，并且不能用SQL表达。它需要整个数据帧的内容来进行计算，它不能一次添加一行并建立一个结果。
我有一个大的dataframe，其中包含一个列，我想用它将dataframe分成小块，并对每个小块执行上述计算。然后，我想返回一个新的数据
浏览 28提问于2020-04-22得票数 0
我在pandas data frame中有一列，我想找出同一结果中某列的最小和最大值。但问题是，我只能得到一个聚合值作为回报。import pandas as pd5 93 4
df.agg({'col1':'sum','col1':'mean'}) 这个聚合的输出只给出了一个含义： c
浏览 17提问于2019-05-04得票数 0
回答已采纳
我如何计算和广播一个熊猫的计数？要计算计数，请执行以下操作： df.groupby('field').size() 要向原始数据帧广播聚合，请执行以下操作： df.groupby('field')['field_to_aggregate'].transform(aggregation) 如果我指定要聚合到的字段和聚合(如s
浏览 34提问于2020-11-25得票数 1
5回答
我有三个字符串类型数组，包含以下信息：
操作数组:包含我要执行的聚合操作。我正在尝试使用火花数据帧来实现这一点。Spark数据帧提供了一个agg()，您可以在其中传递一个Map 作为输入，但是我希望对数据
浏览 8提问于2016-01-22得票数 40
回答已采纳
我想在pandas或pyspark数据帧中执行以下操作，但我仍然没有找到解决方案。我描述的操作可以在下图中看到。
请记住，输出数据帧在第一列上不会有任何值，因为输入表中的第一列不能被前一列减去
浏览 1提问于2016-07-12得票数 4
回答已采纳
我一直在玩pandas数据帧中的聚合。考虑以下数据帧： df=pd.DataFrame({'a':[1,2,3,4,5,6,7,8],
'batch':['q','q','q','w','w','w','w) 问题是，我希望最终的<e
浏览 21提问于2020-09-05得票数 0
回答已采纳
1回答
在使用networkx进行网络分析之前，我正在尝试处理我的数据帧。下面是我获得的一个数据示例：理想的结果是每个单独的演员和他/她所在的电影/节目都有一个列。如果演员有多个节目/电影，我希望该演员也有不同的行。有没有人能建议我如何实现这个目标？谢谢你！！
浏览 4提问于2021-12-03得票数 0
我有一个Dataframe，我在该Dataframe上执行一个UDF操作，然后UDF的操作在Dataframe中只有一列。如何将其附加到以前的数据报中。示例: Dataframe 1: sr_no，name，salary Dataframe 2: UDF给出的输出是ABS(薪水)--只有一列作为Dataframe1上应用的UDF的输出。如何在JA
浏览 20提问于2020-01-25得票数 0
给定一个如下所示的数据帧： id x y 2 5 5 2 3 7 2 1 9 如何在一列上运行多个聚合函数(例如min和max)，但将它们作为数据框的行返回？预期输出应为： minmax 6 在R的dplyr中，我可以做这样的事情，但我不知道如何让它在pandas</
浏览 16提问于2020-08-24得票数 0
回答已采纳
如何从具有共同列值的两个数据帧中获得合并的数据帧，使得只有那些行使得合并的数据帧在特定的列中具有共同的值。Old Men一个公共列'movie_title‘有公共的值，基于它
浏览 6提问于2017-04-09得票数 76
回答已采纳
在下面的代码中，我迭代了一个Pandas数据帧的列。对于每一列，我都做了一些操作。在对最后一列执行操作之后，我希望返回到数据帧的第一列，并再次从j+512增加的位置逐一迭代每一列。我该怎么做呢？
浏览 12提问于2021-10-02得票数 0
回答已采纳
获取50K行表的结果。
})
将table2 (作为参数传递大数据帧)发送给这样的执行</em
浏览 2提问于2017-07-14得票数 0
在看到关于在Pandas中复制类似SQL select语句的行为的之后，我添加了，展示了两种可以缩短中针对该问题给出的冗长语法的方法。尝试过后，我的两个语法较短的方法明显慢了很多，我希望有人能解释一下原因import numpy as np
N = 10000
浏览 0提问于2012-11-19得票数 1
回答已采纳
1回答
我有两个CSV文件，一个大约60 GB，另一个在S3中大约是70 GB。我需要将这两个CSV文件加载到pandas数据帧中，并对数据执行连接和合并等操作。我有一个EC2实例，它有足够的内存供两个数据帧一次加载到内存中。
从S3到pandas数据帧读取这么大的
浏览 5提问于2020-05-06得票数 0
使用Pandas数据帧，有没有一种方法可以扁平化groupby操作的结果，而不必使用临时数据帧，然后将其合并到原始数据帧中？假设我需要创建一个依赖于聚合操作的"result“列，就像这个场景： import pandas as pd
df = pd.DataFrame({'box': [1,1,1,2,2,3,3,
浏览 82提问于2020-05-04得票数 2
回答已采纳
我有两个路径，每个路径包含许多文件，每个文件包含一天的数据。我需要从第一个路径读取文件，从与同一天对应的另一个路径读取另一个文件。在同一个python循环中，我希望读取每个路径中第一天的文件。这些文件在每个路径中具有相同的名称和顺序。我尝试在for循环中使用os.listdir(path)而不是with open (file) as file，因为我想使用pandas将文件读取为数据帧</e
浏览 15提问于2019-10-10得票数 0
回答已采纳
我的web应用程序被设计为允许用户上传他们的Excel文件，然后在我的flask应用程序中读取这些文件并将其转换为DataFrame。随后，我的应用程序应该过滤DataFrame以从DataFrame中删除不必要的记录。为此，我计划设置2个动态选择字段： 第一个选择字段-包含数据帧第二个选择字段中的列名列表-第一个选择字段中所选值的对应唯一值。 那么我该怎么做呢？但我似乎不能定制他
浏览 23提问于2019-05-20得票数 0
回答已采纳
是否可以应用一个函数，在pandas中对连接的行进行操作，并根据输出聚合数据帧？示例：a = pd.DataFrame([['a', 0],['b',0],['c',0], [' ', 0], ['1', 1], ['2', 1],0
2 c
浏览 1提问于2017-03-07得票数 2
2回答
我有一个CSV列表，我目前正在Pandas的数据帧中读取。我需要在数据帧的其中一列中找到公共元素。= pd.read_csv("example1.csv")如何对多个文件执行此操作
浏览 30提问于2018-06-11得票数 0
回答已采纳
pandas有没有一种内置的方法，可以在同一列df["returns"]上应用两个不同的聚合函数f1, f2，而不必多次调用agg()？示例数据帧：import datetime as dtdf = pd.DataFrame"returns" : 0.05 * np.r
浏览 0提问于2012-09-26得票数 190
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
