numba矢量化的问题:数组不能表示为numpy类型
Numba是一个用于加速Python代码的开源库，它通过即时编译技术将Python代码转换为机器码，从而提高代码的执行速度。在进行科学计算和数据分析时，使用Numba可以显著提升代码的性能。
对于给定的问题，如果数组不能表示为NumPy类型，可能有以下几种情况：
- 数据类型不兼容：Numba主要针对NumPy数组进行优化，如果数组的数据类型不是NumPy支持的类型，可能无法直接使用Numba进行矢量化加速。在这种情况下，可以尝试将数组转换为NumPy数组，然后再使用Numba进行加速。
- 数组形状不规则：Numba在进行矢量化加速时，通常要求数组的形状是规则的，即每个维度的大小相同。如果数组的形状不规则，可能无法直接使用Numba进行加速。在这种情况下，可以尝试对数组进行重塑或重新排列，使其形状规则化，然后再使用Numba进行加速。
- Numba不支持的操作：Numba虽然支持大部分NumPy操作，但并不支持所有操作。如果数组包含Numba不支持的操作，可能无法直接使用Numba进行加速。在这种情况下，可以尝试使用其他方法或工具进行优化，如使用Cython编写扩展模块，或者使用其他高性能计算库。
总之，对于无法表示为NumPy类型的数组，可以尝试将其转换为NumPy数组或进行形状规则化，然后再使用Numba进行加速。如果仍然无法解决问题，可以考虑使用其他方法或工具进行优化。腾讯云提供了多种云计算相关产品，如云服务器、云数据库、云存储等，可以根据具体需求选择适合的产品进行开发和部署。
相关·内容
我已经用Fortran做了很长一段时间的计算物理相关工作，最近我开始学习和玩Python。我知道，作为一种解释语言，Python通常比Fortran慢，主要用于CPU密集型的计算工作。但是，我认为使用numpy可以显着地提高像排序这样的简单任务的性能。
因此，我的测试用例是对一个数组/包含随机浮动的10,000大小的列表进行排序，使用气泡排序(只是一个包含许多数组操作的测试用例，因此不需要评论算法本身的性能)。我的计时结果如下(所有函数都使用相同的算法)：
Python3 (使用numpy数组，但我自己的函数而不是numpy.sort)：33.115 s
Python3 (使用列表)：9.92
浏览 2提问于2019-11-18得票数 5
回答已采纳
为了加快xarray包的计算速度，我尝试在函数中添加numba guvectorize，但是有几个问题：
如果我编写两个函数：read_pr和day_clim，则day_clim的输入不再是xarray，因为guvectorize被设置为float64[:], float64[:]。因此，groupby函数不起作用。我也尝试过xr.core.dataarray.DataArray[:], xr.core.dataarray.DataArray[:]，但是错误弹出了NameError: name 'xr' is not defined。
我也想将@guvectorize应
浏览 6提问于2022-02-09得票数 1
回答已采纳
我有一个代码库，它大量使用xarray包。计算(点态算法、点积和内建的numpy函数)已经被大量地矢量化了。我在调查numba为了进一步加速这段代码。原因之一是代码显然没有运行并行化(只使用了一个核心)，所以我认为numba的@jit(parallel=True)装饰器会有所帮助。(据我所知，事实并非如此。)每当我尝试使用@jit(nopython=True)时，都会引发异常，因此我猜这意味着numba无法处理底层的xarray函数。
所以：
有人成功地使用numba加速了基于xarray的代码吗？
如果是:怎么做？
如果没有:是否有理由进一步尝试或放弃这一尝试？
浏览 0提问于2019-07-23得票数 4
回答已采纳
我试图使用numba的@njit快速计算。在我的代码中有一个函数，调用它，fn1(别名)，它需要跳转。这个fn1调用另一个函数fn2(别名)。据我理解，这两种功能都需要放弃。
我在下面发布了一个类似于fn2的功能。下面的代码不符合最小可重现性示例，因为它需要读取csv文件，并且只是用来理解问题的本质。
@njit
def calculate_prob(list_of_value):
list_to_return = []
for xx in list_of_value:
xdf = pd.read_csv(r'../corpus/{}.csv'.format(
浏览 3提问于2022-09-30得票数 -1
回答已采纳
假设我有N粒子，我想把它们放在一个三维立方体晶格中。我想创建一个形状为(N,3)的numpy数组，每个点的3D位置作为该数组的一行。执行此操作的最有效方法是什么？ 如果我有N个粒子，我会取n的立方根，让我们称它为n。取n的上限，我将制作一个大小为ceil(n)*ceil(n)*ceil(n)的格子，并开始用粒子填充这个格子。当然，因为(ceil(n))**3比N大，所以我会有一些空白点，但这没问题。 我可以创建一个for循环并添加一些if语句，但我想知道是否有一种方法可以使用迭代工具或其他工具来提高效率。 提前感谢您的任何建议！
浏览 15提问于2020-07-17得票数 0
1回答
确定多热编码的有效性
、、、
假设我有N项和一个多热点值向量( {0, 1} )，它表示结果中包含这些项：
N = 4
# items 1 and 3 will be included in the result
vector = [0, 1, 0, 1]
# item 2 will be included in the result
vector = [0, 0, 1, 0]
还向我提供了一个冲突矩阵，其中指出不能同时将哪些项包括在结果中：
conflicts = [
[0, 1, 1, 0], # any result that contains items 1 AND 2 is invalid
[0, 1
浏览 11提问于2022-05-05得票数 5
回答已采纳
我写了这个简单的测试来评估Numba的性能，并将其与常规的Python和Numpy进行比较：
import numba.cuda
import numba
import numpy
import time
import math
SIZE = 1000000
ITER = 10
BLOCK = 256
def func_py(result, op1, op2):
for pos in range(SIZE):
result[pos] += op1[pos] * op2[pos]
def func_numpy(result, op1, op2):
浏览 0提问于2021-06-04得票数 2
1回答
我正在尝试编译一个简单的函数，它接受一个python列表，然后根据一个索引列表来分割它。我是numba的新手，医生帮不了我。
Problem I无法成功编译该函数
代码编译 arr变量是一个浮起或整数的python列表，idx是一个numpy数组或python整数列表，根据arr输入结果应该是一个2d浮或整数的python列表。
from numba.pycc import CC
cc = CC('trial')
# Uncomment the following line to print out the compilation steps
cc.verbose = Tru
浏览 3提问于2022-01-27得票数 2
回答已采纳
我有一个numpy数组，其中有许多长度不同的样本。
Samples = np.array([[1001, 1002, 1003],
... ,
[1001, 1002]])
我想(按元素)减去数组的平均值，然后除以数组的标准差。类似于：
newSamples = (Samples-np.mean(Samples))/np.std(Samples)
但这对不规则形状的阵列不起作用，
Np.mean(示例)原因
unsupported operand type(s) for /: 'list' and
浏览 0提问于2017-06-01得票数 0
回答已采纳
1回答
我正在尝试检测和处理几个不规则形状的圆形物体之间的碰撞。
我假设，我必须使用像素完美的碰撞检测。我说的对吗(我想它的效率不是很高)？
但是如何计算碰撞的结果呢？我想模拟物体的“弹跳”。
用规则的形状很容易计算出一个“反弹”角度。但是在这种情况下呢？如何继续？有什么众所周知的方法吗？
浏览 1提问于2015-02-03得票数 0
1回答
我正在尝试执行100 K+蒙特卡罗模拟，并多次调用函数simulate来执行此操作。我正在调查使用Nubma来做这件事，并且可能需要一些帮助，特别是我需要做集合的交叉和联合。
这是我试图优化的代码的一个最低工作示例。Numba似乎不支持集合字典，如果我使用numpy数组的字典，那么我就无法访问np.intersect1d和np.union1d --在将其转换为Numba时会得到任何帮助，或者这是Numba优化的一个坏习惯？
import random
import numpy as np
from numba import types, jit
from numba.typed import
浏览 6提问于2021-01-20得票数 0
回答已采纳
1回答
我在python中有一个块对角线稀疏矩阵，它有数十万到数百万行，但是在1x1到6x6之间有许多不同大小的块；例如，子矩阵上的plt.spy()：
我需要这个矩阵的逆，而不是在python中循环(太慢)。我应该能够提取块对角线，以获得一个2d数组的列表(还没有实际实现这一点)，但即使这样，我也无法知道如何将np.linalg.inv()应用于一组不同大小的矩阵。对稀疏矩阵形式或通过对角线块列表进行反演有什么想法？？
浏览 12提问于2022-02-21得票数 2
回答已采纳
我有一个非常大的布尔2d数组(~1Gb)，我想用一个一维float64数组来匹配它。输出数组将很大，但仍然比2d数组小得多。然而，当我试图匹配它们时，我的系统会崩溃，并试图为2d数组分配足够的内存以使其具有float64，而不仅仅是为输出向量分配足够的内存。
import numpy as np
x,y=286880, 20419
a=np.random.randint(0,2,(x,y),dtype=np.bool_).reshape(x,y)
v=np.random.rand(y)
print(f'{a.shape=} {a.dtype=} {a.size * a.itemsize
浏览 13提问于2022-11-30得票数 2
我正在寻找最快和最节省内存的转换例程从int16到float32在NumPy。我的用法是转换音频样本，所以现实世界的数组很容易在100 K-1米的元素范围内。
我想出了两种方法。第一个:将int16转换为float32，然后在内部进行除法。这至少需要对内存进行两次传递。
第二个:直接使用divide，并在float32中指定一个out数组。从理论上讲，这应该只对内存进行一次传递，因此速度会更快一些。
我的问题：
第二种方式直接使用float32进行除法吗？(我希望它不使用float64作为中间的dtype)
通常，是否有一种方法可以在指定的dtype中进行除法？
我需要指定一些ca
浏览 3提问于2020-08-13得票数 0
回答已采纳
现在我有了一个循环来填充一个三维NumPy矩阵。我并不是最擅长理解三维数组结构的，尽管我知道它实际上只是我习惯于在(2D)中思考的普通XxY的一个XxY表示。所以，如果你想知道这是什么，这是一个布朗桥(BB)结构，用于蒙特卡罗模拟金融问题。原始代码(源自于作者Kenta原稿的评注，位于此处)：。你真的不需要知道它背后的数学知识；它只是简单地划分了一条步骤路径(本例中为21)，从0开始，一直应用正态分布的震荡(因此是np.random.randn)，直到它到达终点，也就是0。每条路径都被应用到一个模拟的价格中，随着时间的推移随机地“冲击它”，从而产生资产在到期时可能遵循的一条潜在路径。尽管这些都
浏览 2提问于2021-10-28得票数 0
回答已采纳
1回答
我使用scipy.integrate对两个二维数组应用了一个集成函数。下面是一个例子：
from scipy import integrate
import numpy as np
def integrate_lno2(top, bottom, peak_height, peak_width):
return integrate.quad(lambda x: np.exp(-np.power(x - peak_height, 2)/(2*np.power(peak_width, 2))), top, bottom)[0]
# change row and col to test s
浏览 3提问于2022-05-16得票数 2
回答已采纳
我正在写代码，它利用Numba来JIT编译我的python代码。该函数接受两个长度相同的数组作为输入，随机选择一个切片点并返回一个包含两个Frankenstein数组的元组，该数组由两个输入字符串的一部分组成。然而，Numba还不支持numpy.concatenate函数(不知道它是否会支持)。由于我不愿意放弃Numpy，有谁知道连接两个Numpy数组而不使用连接函数的有效解决方案？
def randomSlice(str1, str2):
lenstr = len(str1)
rnd = np.random.randint(1, lenstr)
return (np.
浏览 2提问于2016-08-02得票数 2
回答已采纳
我想要@numba.njit这个简单的函数，它返回一个数组，其中包含一个形状，特别是一个等级，这取决于输入i：例如，对于i = 4，形状应该是shape=(2, 2, 2, 2, 4)
import numpy as np
from numba import njit
@njit
def make_array_numba(i):
shape = np.array([2] * i + [i], dtype=np.int64)
return np.empty(shape, dtype=np.int64)
make_array_numba(4).shape
我尝试了许多不同的方法
浏览 4提问于2022-03-20得票数 1
回答已采纳
我正在尝试使用numpy映射我的神经网络的拓扑。 我正在寻找一种方法来创建一个不规则形状的数组，最好不使用for循环。 下面的代码创建了一个对象的numpy数组。该数组是一个不规则形状，将根据传入的"Iarray“变量进行更改。 我的神经网络的拓扑是2,3,2，所以这个函数输出一个包含三列的数组，第一列中有2个元素，第二列中有3个元素，第三列中有2个元素。 def object_array(Iarray):
Array = np.empty([1,len(Iarray)],"object")
Cell_Chain = np.empty()
浏览 29提问于2019-06-10得票数 0
1回答
加速迭代或向量化
、、、、
我有大约50个州的数据(很多属性)。对于每个状态，我希望从逻辑回归中找到给出最小RMSE的属性组合。由于有许多属性和状态，我需要遍历大约5100万个状态和自变量的组合。我试着用numpy编写我的函数，但是我需要帮助来向量化它。我有这样的东西： import pandas as pd
import numpy as np
import random
import statsmodels.api as sm
import itertools
rows = 20000
total_rows = 13*rows
data = pd.DataFrame({
'state':
浏览 10提问于2020-08-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
