腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
并行
化
逐行
Pandas
dataframe
的
apply
()
方法
python
、
pandas
、
multiprocessing
我有以下代码: import
pandas
as pd val2passed_row['enriched2'] = val2 df = pd.
DataFrame
columns=['numbers', 'col
浏览 144
提问于2021-05-09
得票数 3
回答已采纳
8
回答
熊猫群后
并行
化
应用
python
、
pandas
、
parallel-processing
、
bodo
我使用rosetta.parallel.
pandas
_easy在
apply
之后
并行
化
groupby,例如: from rosetta.parallel.
pandas
_easy import groupby_to_series_to_framedf = pd.
DataFrame
({'a': [6, 2, 2], 'b': [4, 5, 6]},index= ['g1', 'g1', 'g2'
浏览 7
提问于2014-10-03
得票数 84
回答已采纳
1
回答
使用PySpark
并行
化
自定义函数
python
、
pyspark
我熟悉使用UDF将自定义函数
逐行
应用于
DataFrame
。但是,我想知道
如何
将自定义函数
并行
应用于我
的
DataFrame
的
不同子集。下面是一个简化
的
例子:import
pandas
as pd dummy_data = pd.
DataFrame
({'id':np.random.choice(对于每个唯一
的
' id ',
浏览 1
提问于2018-07-20
得票数 2
2
回答
python dask
DataFrame
,支持(微不足道
的
并行
)行应用?
python
、
pandas
、
parallel-processing
、
dask
我最近发现了一个旨在成为易于使用
的
并行
处理模块
的
python模块。对我来说,最大
的
卖点是它可以和熊猫一起工作。在阅读了它
的
手册页面后,我找不到一种
方法
来完成这个微不足道
的
并行
化
任务:df.
apply
(func, axis = 1) # for) # dask
DataFrame
,这是丑陋<e
浏览 1
提问于2015-07-12
得票数 48
回答已采纳
1
回答
在python中
并行
运行带有位置和可选参数
的
函数
python
、
pandas
、
function
、
dataframe
、
parallel-processing
我试图使用
DataFrame
方法
在
Pandas
DataFrame
上计算各种度量。由于我使用
的
DataFrame
很大(100万行x20列),所以我决定将计算过程
并行
化
。以下是几个步骤: import
pandas
.
apply
(
浏览 4
提问于2020-02-16
得票数 0
1
回答
如何
使用Numba + Dask正确
并行
化
泛型代码
pandas
、
numpy
、
dask
、
numba
我刚开始使用Dask和Numba来加速代码,我希望这可能是一个有价值
的
问题,让用户获得
如何
并行
化
代码
的
最佳实践
的
答案。我已经用3列对
pandas
数据进行了一个通用
的
测试。以下是我遇到
的
问题: Dask,,无论我做什么大小
的
向量,都是慢
的
。我可能不完全理解
如何
和何时计算数据文件
的
某些部分,或者
如何
正确地将其
并行
化
浏览 0
提问于2020-02-11
得票数 2
回答已采纳
1
回答
如何
实现天体运动
的
并行
计算?
python
、
parallel-processing
、
dask
、
skyfield
、
sgp4
我有一段代码,可以使用Skyfield计算一些卫星和行星
的
位置。为了清晰起见,我使用
Pandas
DataFrame
作为位置和相应时刻
的
容器。我想
并行
计算,但总是得到相同
的
错误:TypeError: can't pickle Satrec objects。测试了不同
的
并行
器,如Dask、pandarallel、swifter和Pool.map()。需要
并行
化
的
代码示例: d
浏览 30
提问于2020-04-01
得票数 0
1
回答
如何
分发函数
的
应用程序,该函数在一个分组数据框架上返回一个标量,它使用
pandas
和Azure在星火上运行?
pandas
、
pyspark
、
parallel-processing
、
databricks
、
pyspark-pandas
(我通常理解
并行
处理,并编写了低级并发代码。) #
pandas
dataframe
to try groupby.
浏览 12
提问于2022-08-04
得票数 1
2
回答
使用另一个数组应用函数
pandas
.Series中
的
参数
python
、
python-3.x
、
pandas
、
dataframe
、
series
有什么
方法
可以使用另一个
pandas
.Series
的
不同值在
pandas
.Series中应用函数吗?我知道有
pandas
.Series.
apply
(),但我需要这样
的
东西: array1 =
pandas
.Series([1, 2, 3, 4]) 2 9 3 4 换句话说,我需要在一个
pandas
.
DataFrame
列中应用
浏览 23
提问于2021-04-07
得票数 0
3
回答
Pandas
应用不能在Spark
并行
化
代码中工作
python
、
apache-spark
、
pyspark
、
apply
、
pandas-apply
我试图在
并行
化
代码中使用
Pandas
"
apply
“,但"
apply
”根本不起作用。在使用Spark (RDD上
的
parallelize)时,我们可以在分发给执行器
的
代码中使用"
apply
“吗?代码: return pd.
DataFrame
({'col1':k,'col2':[k*2]*5}) def testExec(
浏览 0
提问于2019-10-25
得票数 0
2
回答
Python
如何
将
方法
从一个库应用到另一个库
的
对象?
python
、
pandas
、
pandarallel
当使用pandarallel在我
的
数据文件上运行.
apply
方法
时使用所有核心时,我遇到了一种以前从未见过
的
语法。相反,这是一种我不理解
的
使用点语法
的
方法
。import
pandas
as pdpandara
浏览 12
提问于2020-08-25
得票数 3
回答已采纳
5
回答
高效地比较两列中
的
列表
python
、
pandas
、
numpy
、
dataframe
当拥有这样
的
熊猫
DataFrame
时:import numpy as np2 ['b'] ['a'] 但是,有了大约10万条条目,我希望能在两列中<em
浏览 10
提问于2020-01-08
得票数 17
回答已采纳
2
回答
将np.dot应用于两个DataFrames
的
每一行
python
、
pandas
假设我有两个相同形状
的
Pandas
DataFrames,我想制作一个系列,这是两个DataFrames
的
逐行
(考虑使用
pandas
.
DataFrame
.
apply
)点积。因此,例如:df2 = pd.
DataFrame
(np.random.rand(1000,10)) df1.
apply
是否有一种紧凑
的
、矢量
浏览 4
提问于2015-09-29
得票数 3
回答已采纳
1
回答
逐行
高效地构建
pandas
数据帧
python
、
pandas
、
dataframe
我最近一直在通过迭代多个文件、行等来构建
pandas
数据帧。我一直在通过在字典中附加项目,然后转换为数据帧来构建它们:for r in df.index: new_data_dict[r] = new_data new_df = pd.
DataFrame
.from_dict我还没有把它和<
浏览 0
提问于2017-02-23
得票数 5
2
回答
逐行
操作中
的
`
pandas
.
DataFrame
.
apply
`
python
、
pandas
我想返回一个每一行都排序(假设是降序)
的
dataFrame
。所以如果我有一个名为data
的
pandas
.
DataFrame
Out[38]: 但是,我
的
目标是能够在
DataFrame
.
apply
()
方法
中使用
逐行
函数(这样我就可以将所需
的</em
浏览 2
提问于2012-11-07
得票数 1
回答已采纳
2
回答
对于向DataFrames添加列
的
函数,应该采用哪种约定?
python
、
pandas
、
performance
、
numpy
、
dataframe
我至少能想到三种
方法
。每种
方法
的
优缺点是什么?
方法
1:def method1(row): 避免
apply
为第一行运行两次该函数
的
行为(只需
浏览 1
提问于2018-01-28
得票数 0
回答已采纳
1
回答
Modin加速带应用功能吗?
python
、
pandas
、
dataframe
、
modin
我试过在很多地方找到答案,但还没有得到直接
的
答案。modin加速比是否适用于数据传输?跨
Dataframe
对应用功能进行
并行
化
是否具有智能性,而不是
逐行
执行典型
的
应用功能?很抱歉,如果有简单
的
答案可用,我总是得到答案,在阅读或一些功能,很少在应用
的
速度。
浏览 3
提问于2020-10-13
得票数 1
回答已采纳
1
回答
intersphinx与熊猫autodoc
的
链接
python
、
pandas
、
python-sphinx
、
autodoc
我尝试了到
apply
()
方法
的
以下链接变体::ref:`
apply
<
pandas
:
pandas
-
dataframe
-
apply
>` :ref:`
apply
<
pandas
:
dataframe</em
浏览 2
提问于2014-07-14
得票数 8
回答已采纳
1
回答
AttributeError:在Dask中,“Series”对象没有属性“columns”
python
、
pandas
、
parallel-processing
、
dask
由于
dataframe
非常大,为了加快计算速度,我决定选择Dask进行
并行
pandas
处理 我有以下代码:https://pastebin.com/Zh672Wei 主要
的
问题是以下几行: crosses_data.
apply
相同
的
代码,但与dask
并行
化
失败,错误'Series‘对象没有属性’column‘: dd.from_
pandas
(crosses_data,npartitions=4)
浏览 19
提问于2019-05-14
得票数 1
回答已采纳
1
回答
使用列名字典来决定
如何
在python中乘以公式
python
、
pandas
、
function
我正在尝试定义一个函数,该函数循环遍历一个字典,字典中
的
键是数据帧列名,如果观察值符合折扣条件,则值是与该列相关联
的
折扣。我想将折扣相乘,并将乘积用作GLM中
的
偏移量。11 offset = offset * 1 discounts = {
浏览 10
提问于2019-05-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python中的并行处理:实例编程指南
还在抱怨pandas运行速度慢?这几个方法会颠覆你的看法
这几个方法颠覆你对Pandas缓慢的观念!
Pandas 初学者代码优化指南
Pandas循环提速7万多倍!Python数据分析攻略
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券