用sum实现numpy.isin的更快方法
用sum实现numpy.isin的更快方法
提问于 2019-05-13 21:44:51
我正在使用python脚本执行数据分析，并从分析中了解到，超过95 %的计算时间是由执行以下np.sum(C[np.isin(A, b)])操作的行占用的，其中A、C是等维m x n的2D NumPy数组，b是可变长度的一维数组。我想知道，如果不是一个专用的NumPy函数，是否有办法加速这样的计算？
典型尺寸的A (int64)，C (float64)：10M x 100
典型尺寸的b (int64)：1000
回答 3
Stack Overflow用户
回答已采纳
发布于 2019-05-14 03:17:38
由于您的标签来自一个小的整数范围，所以使用下面的np.bincount (pp)会得到相当大的加速。或者，您可以通过创建一个掩码(p2)来加速查找。这--和您的原始代码一样--允许用math.fsum替换math.fsum，这保证了精确的机器精度结果(p3)。或者，我们可以将其化成另一个40%加速比(p4)。
在我的钻机上，numba (mx)大约和pp一样快，但也许我做得不对。
import numpy as np
import math
from subsum import pflat
MAXIND = 120_000
def OP():
return sum(C[np.isin(A, b)])
def pp():
return np.bincount(A.reshape(-1), C.reshape(-1), MAXIND)[np.unique(b)].sum()
def p2():
grid = np.zeros(MAXIND, bool)
grid[b] = True
return C[grid[A]].sum()
def p3():
grid = np.zeros(MAXIND, bool)
grid[b] = True
return math.fsum(C[grid[A]])
def p4():
return pflat(A.ravel(), C.ravel(), b, MAXIND)
import numba as nb
@nb.njit(parallel=True,fastmath=True)
def nb_ss(A,C,b):
s=set(b)
sum=0.
for i in nb.prange(A.shape[0]):
for j in range(A.shape[1]):
if A[i,j] in s:
sum+=C[i,j]
return sum
def mx():
return nb_ss(A,C,b)
sh = 100_000, 100
A = np.random.randint(0, MAXIND, sh)
C = np.random.random(sh)
b = np.random.randint(0, MAXIND, 1000)
print(OP(), pp(), p2(), p3(), p4(), mx())
from timeit import timeit
print("OP", timeit(OP, number=4)*250)
print("pp", timeit(pp, number=10)*100)
print("p2", timeit(p2, number=10)*100)
print("p3", timeit(p3, number=10)*100)
print("p4", timeit(p4, number=10)*100)
print("mx", timeit(mx, number=10)*100)pythran模块的代码：
subsum.py
import numpy as np
#pythran export pflat(int[:], float[:], int[:], int)
def pflat(A, C, b, MAXIND):
grid = np.zeros(MAXIND, bool)
grid[b] = True
return C[grid[A]].sum()编译和pythran subsum.py一样简单
样本运行：
41330.15849965791 41330.15849965748 41330.15849965747 41330.158499657475 41330.15849965791 41330.158499657446
OP 1963.3807722493657
pp 53.23419079941232
p2 21.8758742994396
p3 26.829131800332107
p4 12.988955597393215
mx 52.37018179905135Stack Overflow用户
发布于 2019-05-14 00:08:10
如果需要，我想您已经将int64更改为int8。
您可以使用Numba的并行和它的功能，以更快的Numpy计算，并利用核心。
@numba.jit(nopython=True, parallel=True)
def (A,B,c):
return np.sum(C[np.isin(A, b)])Numba并行文档
Stack Overflow用户
发布于 2019-05-14 16:53:09
我不知道为什么np.isin会这么慢，但是您可以更快地实现您的函数。下面的Numba解决方案使用一组用于快速查找值的方法，并将其并行化。内存占用也比Numpy实现中的内存占用小。
码
import numpy as np
import numba as nb
@nb.njit(parallel=True,fastmath=True)
def nb_pp(A,C,b):
s=set(b)
sum=0.
for i in nb.prange(A.shape[0]):
for j in range(A.shape[1]):
if A[i,j] in s:
sum+=C[i,j]
return sum时间
pp实现和第一个数据示例是上面Panzers的回答。
MAXIND = 120_000
sh = 100_000, 100
A = np.random.randint(0, MAXIND, sh)
C = np.random.random(sh)
b = np.random.randint(0, MAXIND, 1000)
MAXIND = 120_000
%timeit res_1=np.sum(C[np.isin(A, b)])
1.5 s ± 10.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit res_2=pp(A,C,b)
62.5 ms ± 624 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
%timeit res_3=nb_pp(A,C,b)
17.1 ms ± 141 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
MAXIND = 10_000_000
%timeit res_1=np.sum(C[np.isin(A, b)])
2.06 s ± 27.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit res_2=pp(A,C,b)
206 ms ± 3.67 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit res_3=nb_pp(A,C,b)
17.6 ms ± 332 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)
MAXIND = 100
%timeit res_1=np.sum(C[np.isin(A, b)])
1.01 s ± 20.7 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit res_2=pp(A,C,b)
46.8 ms ± 538 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
%timeit res_3=nb_pp(A,C,b)
3.88 ms ± 84.8 µs per loop (mean ± std. dev. of 7 runs, 1 loop each)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56120273
复制相关文章
相似问题
腾讯云开发者
