numpy/scipy中的哪些操作是多线程的？_Python中scipy/numpy中的exp溢出？_python/numpy中的多线程blas - 腾讯云开发者社区

python、multithreading、numpy、scipy

我正在研究一个算法，除了使用numpy/scipy之外，我没有尝试将其并行化。看看htop，代码有时会使用我所有的内核，有时只会用到一个。我正在考虑使用multiprocessing或类似的东西来增加单线程部分的并行性。假设我有所有的并行BLAS/MKL库，有没有什么经验法则可以让我猜测numpy/scipy ufunc是不是多线程的？更好的是，有没有记录这一点的地方？为了解决这个问题，

浏览 65提问于2019-02-08得票数 5

1回答

scipy.sparse函数会释放GIL吗？

python、numpy、scipy、sparse-matrix、gil

问题上下文包装外部代码(如C)的Python函数通常在执行过程中释放GIL，从而启用多线程并行处理。这在numpy代码库中很常见。它在scipy.sparse中也很常见吗？如果是的话，哪些操作可以释放GIL？如果他们不释放吉尔，那么这里是否有一个根本的问题，为什么不释放，或者仅仅是缺乏人力资源？

浏览 3提问于2015-01-11得票数 4

回答已采纳

1回答

Python矩阵乘法:稀疏乘稠密

python、numpy、scipy、sparse-matrix

给定代码片段：其中A是CSR 的稀疏矩阵，M和T是两个numpy阵列。我还注意到，如果我将A格式更改为稠密，则此操作要慢得多，这与我的猜测有些矛盾。

浏览 3提问于2020-10-16得票数 0

回答已采纳

1回答

当使用MKL BLAS时，scipy是否支持稀疏矩阵乘法的多线程？

multithreading、scipy、sparse-matrix、matrix-multiplication、blas

根据MKL文档，“所有矩阵-矩阵操作(第3级)都是针对密集和稀疏BLAS的线程化的。”from numpy import *x = random.rando

浏览 0提问于2013-06-18得票数 6

2回答

为什么numpy.mean不是多线程的？

python、multithreading、performance、numpy

自从我注意到numpy只使用了一个内核，尽管它应该是多线程的，我一直在寻找方法来轻松地多线程一些简单的分析代码。我知道numpy是为多个内核配置的，因为我可以看到使用numpy.dot的测试使用了我所有的内核，所以我只是将mean重新实现为一个点积，它运行得更快。是不是有什么原因导致mean不能自己跑这么快？我在较大的数组中发现了类似的行为，尽管比率接近于2，而不是我的示例

浏览 0提问于2013-05-18得票数 27

回答已采纳

1回答

Python:什么时候可以进行多处理/线程/异步操作？我的函数能并行计算吗？

python、multithreading、parallel-processing、multiprocessing

我实现了一些逻辑(Windows10上的)，创建了一个向量，表示基于numpy随机变量的模拟现货价格。在一天结束时，我需要这个向量的10,100或1000。因此，要么是：def tt(i): random

浏览 4提问于2020-06-07得票数 0

1回答

官方PyPI与非官方二进制文件

python、pip、packaging

我是从那里安装numpy+mkl的，因为我的Python版本不支持intel-numpy，但我不知道scipy和其他软件包有什么不同。其中有没有官方存储库没有的优化功能？

浏览 2提问于2019-11-12得票数 0

1回答

在PyPlot中绘制Y值较大的平滑曲线

python、scipy、matplotlib、curvesmoothing

我遵循了中关于以下数据的建议：from numpy import array, linspaceplt.show() File "/Library/Fr

浏览 4提问于2011-08-14得票数 0

回答已采纳

3回答

SciPy/NumPy导入指南

python、numpy、scipy、python-import

注意:我检查了重复项，但没有明确回答我的问题。如果我遗漏了什么，我相信你会告诉我的！为了清理我的代码，我一直在寻找在我的程序中导入SciPy和NumPy的标准约定。因此，NumPy应该用于数组操作，SciPy用于其他所有操作...另一方面，SciPy在其主名称空间中导入每个Numpy函数，因此scipy.array()与numpy</e

浏览 3提问于2013-03-21得票数 12

回答已采纳

1回答

numpy.float64 :让scipy用numpy.float128代替Python？

python、numpy、types、scipy

这是可能的，如果是，如何做:我如何让scipy使用默认的numpy.float128。例如>>> type(norm.pdf(10, 10, 1))我想让它成为>>>

浏览 1提问于2015-09-15得票数 2

1回答

Scipy操作是逐行完成的，而不是像Matlab中那样逐列完成的吗？

python、matlab、numpy

我是NumPy的新手，SciPy。之前，我已经使用Matlab/Octave很长一段时间了。我可以

浏览 0提问于2015-08-22得票数 2

2回答

有没有人在IronPython中使用过SciPy？

python、scipy、ironpython、python.net

我已经能够使用来自IronPython的标准Python模块，但是我还没有让SciPy工作。有没有人能够从IronPython使用SciPy？你需要做些什么才能让它工作呢？更新:请参阅更新:微软正在为.NET开发SciPy。

浏览 2提问于2009-02-22得票数 16

回答已采纳

1回答

假设自动线程化的scipy和numpy函数没有使用多核

python、multithreading、numpy、scipy、intel-mkl

我运行的是Mac 10.6.8，并且使用的是running发行版。我想让numpy函数利用我的两个内核。我遇到了一个与这篇文章类似的问题：，但在遵循了这篇帖子的步骤后，我仍然有同样的问题。下面是我的numpy.show_config()： libraries = ['mkl_lapack95_lp64', 'mkl_intel_

浏览 1提问于2012-08-03得票数 7

回答已采纳

1回答

是否可以知道哪些SciPy* / NumPy函数在多核上运行？*

python、multiprocess

我试图明确地找出SciPy/NumPy中的哪些函数在多个处理器上运行。例如，我可以在SciPy参考手册中读到SciPy使用它，但我更感兴趣的是哪些函数确实运行并行计算，因为并不是所有的函数都运行并行计算。当然，如果您键入help(SciPy.foo)时包含了它，那么理想的场景将会是这样的，但情况似乎并非如此。最

浏览 0提问于2011-08-04得票数 5

回答已采纳

1回答

基于图像卷积的低效率python并行/多处理

python、parallel-processing、multiprocessing、pickle、convolution

在每个任务中，作为第一步，我有大约500个图像需要转换，而ndimage.filters下的过滤器似乎只使用了一个核心。原因很可能是麻烦和间接费用:如果我在每个员工中生成假数据，而不是将真实数据传递给每个员工，那么多处理确实大大提高了性能。我正在windows机器上运行spyder，我将把代码传递给另一台机器上的其他人，所以重新编译python和任何低级别的调整都不适用。在matlab中，卷积透明地使用多核，并且有parfor，它能很好地处理开销。对于在python中实现多处理卷积有什么

浏览 2提问于2017-04-11得票数 0

回答已采纳

2回答

scipy.sparse包是否为多线程/多进程

python、multithreading、scipy

我使用scipy.sparse.linalg.spilu和scipy.sparse.linalg.bicgstab来解决Ax=b，我观察到我的CPU使用率有时在50%左右。我的CPU是Intel(R) Xeon(R) CPU E3-1245 V2@3.40 and，它有4个内核和8个逻辑处理器。我想知道我使用的这两个函数是否是多线程/多处理器，因为如果是单线程/核，CPU使用率应该在12.5%左右，对吗？谢谢!编辑

浏览 1提问于2015-02-27得票数 0

1回答

如何在Jython中为猪使用腌制的坐便器学习模型？

python、apache-pig、scikit-learn、jython

我曾经训练过一个MultinomialNB模型，它来自于S3集群上的一个集群中的许多json文本文件，现在我想把它释放出来。我腌制了模型(叫它"nb.pickle")。我如何在猪脚本中加载并使用它？假设我有一个包含文本行的文件，每个文件都需要被归类为垃圾邮件或火腿： "hi good looking msg

浏览 2提问于2015-03-26得票数 0

回答已采纳

1回答

为什么NumPy和SciPy有很多相同的功能？我应该更喜欢哪一个？

python、numpy、scipy

可能重复：为什么会有副本？只是为了向后兼容？如果是

浏览 2提问于2012-05-26得票数 7

回答已采纳

1回答

gensim是如何快速找到最相似的词的？

python、time-complexity、gensim、word2vec、similarity

比方说，我们培养了一个100多万字的模型。为了找到最相似的单词，我们需要计算测试词的嵌入和所有100万单词的嵌入之间的距离，然后找到最近的单词。看来Gensim计算得非常快。尽管当我想要计算最相似的值时，我的函数非常慢： distances = {} sorted_distances = sorted(distances.items(

浏览 2提问于2020-04-29得票数 3

回答已采纳

1回答

Python / NUMBA中的多线程FFT操作？

python、multithreading、numpy、fft、numba

为了在3D NumPy阵列上计算不同内核的卷积/互相关，我希望并行计算许多较小的FFT。我发现NUMBA的@njit(parallel = True)标签并不支持SciPy或NumPy的FFT / IFFT函数。有没有可能用NUMBA多线程计算几个3DFFT，而不必自己实现FFT算法？或者在没有@njit标签的情况下，NUMBA parallel = True标签可以工作吗？我不太关心代码编译，我真正感兴趣<em

浏览 178提问于2021-08-12得票数 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云