我是python的新手，开始使用numpy。我正在遵循论文中的一个算法，对于我的数据集，它需要一个维度为1百万*100万的数组。确切的代码是larray(np.random.normal(0, sigma**2, size=(794832, 794832))
虽然我有一个16 am的内存，但numpy在创建时会尝试将数组加载到内存</em
浏览 0提问于2017-06-05得票数 2
1回答
我需要阅读一个大的地理信息系统光栅文件(162000 * 105000)。我想将这个光栅转换成一个Numpy数组(2*2和double类型)，然后使用这个numpy数组进行几个分析。我的操作系统是windows 64，我有32 64内存。但是，python无法使用内存，我得到了“内存错误”，有没有办法为Python分配更多的<e
浏览 6提问于2013-12-23得票数 2
回答已采纳
我开发了一个库，它在低级别上使用Cython来解决跨2D数组的流问题。如果这些数组是numpy数组，我可以静态地输入它们，从而避免了对这些数组进行随机访问的Python解释器开销。为了处理大到不适合内存的数组，我计划使用pytable中的hd5file数组来代替numpy，但我不知道是否可以静
浏览 3提问于2013-12-20得票数 3
回答已采纳
1回答
当使用大数字的numpy.arange时，我会得到一个内存错误。我的代码如下：profit_list = []
profit_list.append(x)
什么可以替代，这样我就可以避免内存
浏览 5提问于2017-06-05得票数 0
回答已采纳
我正在使用以下代码从我的S3桶中读取一个文件，该文件位于studio (同一个帐户)的笔记本中：
dataset_path_in_h5="/Mode1/SingleFault/SimulationCompleted这似乎不太可能，因为在整个文件为20 as时，代码执行得相当快。还是仅仅传输了dataset_path_in_h5中的数据集？我想，如果整个文件在每次调用时都被传输，我可能会花很多钱。
浏览 5提问于2022-09-01得票数 0
回答已采纳
1回答
处理大型数据集时发生内存错误
、、、、
我有3个numpy数组的插值数据。面临的问题我必须做一些计算，熊猫让它更容易，所以我更喜欢和熊猫一起做。我相信三个numpy数组的内存大小超过3 Gb甚至更多。系统详细信息：
8 8Gb内存</
浏览 0提问于2019-02-07得票数 0
我想要创建一个可以传递给"**array_like**" QImage numpy.array().的子类。我希望避免使用PIL作为替代；这样做的全部目的是避免对PIL的依赖。此外，经常在QImage和PIL Image之间进行转换对我的程序来说是不切实际的。
我发现很神秘，在阅读之后，我仍然对如何模拟数组接口感到困惑。正如numpy文档所述，
浏览 1提问于2013-01-26得票数 1
回答已采纳
1回答
我正在尝试用Cython来加速我的Python代码，到目前为止，它工作得很好。然而，我有一个问题:处理列表。使用cython -a myscript.pyx，我可以看到，在处理列表时，我的代码中只有一部分调用Python例程。例如，我有一个numpy数组(sel1)，需要像这样拆分：y1 = numpy.array([t
浏览 0提问于2015-03-09得票数 3
我想把许多大的长整数放入内存中，而不需要它们之间的任何空间。如何在linux中使用python2.7代码来做到这一点？到目前为止，我正在使用python列表。但我不确定这
浏览 2提问于2016-05-07得票数 3
回答已采纳
2回答
比RAM大的对象
、、、、
我现在正在编写Python代码，它逐渐构建了一个大型字典(6亿个元素)，同时不断地从字典中读取。我经常使用cPickle将该对象写到一个文件中，并在中断时通过读取该文件重新开始。到完成时，字典将占用大约40 GB的空间。我的电脑有16 GB的内存。我应该期待什么样的行为？内存错误？冻结的电脑？对字典的访问速度极慢？此外，我正在尝试修复我的
浏览 0提问于2016-01-27得票数 2
我最近注意到，numpy包括一个以numpy 1.7开头的datetime64数据类型：
我想知道什么时候使用datetime.datetime和什么时候使用numpy.datetime64是合适<e
浏览 0提问于2013-12-31得票数 4
好的，我用k-NN方法对两个文档做了Hamming距离。我正试图将Matlab代码翻译成Python，但我已经看了好几个小时了，不知道是什么导致了错误。Python代码的xor部分。我检查了logical_xor函数，似乎对函数有正确的输入。我不明白这个错误是从哪里来的。是不是因为矩阵的形状不同？当涉及到调整它们的大小时，我很困惑，是否应该将X和X_train更改为数组？Test.
浏览 2提问于2017-04-09得票数 0
回答已采纳
1回答
我正在编写一个Python类，它将包装一个包含C结构的C模块。我正在使用Cython语言(一种Python和C的超级集语言)。C结构在构造函数中是malloc'd，包含一个我想在Python中使用的数组。该数组将在Python中表示为一个NumPy数组，但我不想将值复制到它。我想将NumPy数组直接链
浏览 7提问于2015-11-02得票数 11
回答已采纳
1回答
我使用Python的multiprocessing模块并行处理大型numpy数组。这些数组是在主进程中使用numpy.load(mmap_mode='r')映射内存的.在此之后，multiprocessing.Pool()会对流程进行分叉(我猜是这样)。使用Python2.7.2，OS，NumPy 1.6.1。
经过
浏览 3提问于2012-04-01得票数 22
回答已采纳
2回答
我有一门课，这是一种方法。该方法在执行过程中重复多次。此方法使用numpy数组作为临时缓冲区。我不需要在方法调用之间的缓冲区中存储值。是否应该创建数组的成员实例，以避免方法执行期间内存分配的时间泄漏？我知道，它是首选的局部变量。但是，Python是否足够聪明，只为数组分配一次
浏览 3提问于2015-10-25得票数 6
回答已采纳
我有一个类似于cdef generate_data(size)的Cython函数，在这里我想：
我在互联网上看到了很多方法，但在我的简单案例中，我正在寻找最好的/推荐的
浏览 2提问于2014-05-25得票数 1
回答已采纳
1回答
我有几个进程，每个进程都完成了需要一个大型numpy数组的任务，这只是读取(线程正在搜索它的适当值)。然而，我仍然收到一个内存错误。我可以在主进程中加载一次数组，但是
浏览 1提问于2017-08-11得票数 3
回答已采纳
我构建了一个类，对即将到来的数据进行了一些迭代。数据是没有使用numpy对象的数组形式。在我的代码中，我经常使用.append创建另一个数组。在某种程度上，我将其中一个大阵列1000x2000更改为numpy.array。现在我有一个错误，在错误之后。我开始将所有的数组转换成ndarray，但是像.append这样的</
浏览 8提问于2013-02-27得票数 5
回答已采纳
1回答
假设有一个C++类，我们希望在其中定义要在python中调用的函数。在python方面，目标是能够通过以下方式调用此函数：Output：类型为2D numpy数组(Float32)，或列表列表或其他建议如果它有助于延迟/简单，一维数组也是可以的。例如，在标头中定义一个函数时：
bool func(const std:
浏览 2提问于2020-06-15得票数 0
回答已采纳
我试图计算两个大小分别为(162225,10000)和(10000,100)的numpy数组的点积。但是，如果我调用numpy.dot(A，B)，就会发生MemoryError。于是，我试着写我的实现： """Low-memory implementation of dot product"""
#Assuming你知不知道：( 1)这种行为背后的原
浏览 5提问于2014-12-27得票数 4
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
