为什么numpy要为字符串数组占用这么多内存？
numpy为字符串数组占用较多内存的原因是因为numpy中的字符串数组是固定长度的，即每个字符串都会被填充到相同的长度。这样做的目的是为了提高数组的性能和操作效率。
具体来说，numpy中的字符串数组是通过创建一个固定大小的缓冲区来存储字符串的。这个缓冲区的大小是根据数组中最长字符串的长度来确定的，所有的字符串都会被填充到这个固定长度。这样做的好处是可以通过简单的索引操作来访问和操作数组中的任意字符串，而不需要进行额外的内存分配和复制操作。
然而，这种固定长度的设计也导致了一些内存浪费。如果数组中的字符串长度不均匀，即有些字符串比较短，有些字符串比较长，那么就会出现一些空间浪费。因为所有的字符串都会被填充到固定长度，所以短字符串会浪费一部分空间。
尽管numpy为字符串数组占用较多内存，但这种设计可以提高数组的性能和操作效率。如果对内存占用有较高要求，可以考虑使用其他库或方法来处理字符串数组，例如使用Python的内置数据结构或其他第三方库。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
相关·内容
1回答
为什么numpy要为字符串数组占用这么多内存？
python-3.x、numpy、numpy-ndarray
似乎将一个字符串数组放入一个numpy数组需要比原始数组多20倍的内存。我可以理解，由于一些开销，它会多占用10%的内存，但我想知道为什么它会多占用2000%的内存。import numpy as np
txt = ["adsfjwofj owejifowijefiwjfoi of wofjwoijfwoijfoiwe
浏览 0提问于2018-08-02得票数 2
1回答
ValueError:数组太大-无法了解如何修复此问题
python、arrays、python-2.7、csv、numpy
我运行以下代码：它调用这个函数： # open the file
浏览 2提问于2014-02-10得票数 1
回答已采纳
1回答
为什么md5在字符串上的哈希比在python中的numpy数组快得多？
python、numpy、hash、md5
在python/numpy中，我有一个名为random_matrix的10,000x10,000数组。我使用md5计算str(random_matrix)和random_matrix本身的哈希。字符串版本需要0.00754404067993秒，numpy数组版本需要1.6968960762秒。当我把它变成一个20,000x20,000数组时，字符串版本需要0.0778470039368，而numpy数组版本则需要60.641
浏览 0提问于2014-03-06得票数 1
回答已采纳
1回答
为什么JProfiler向我展示了在Java语言中每个char[]的200+字节开销如此之大？
java、scala、oop、memory、jvm
JProfiler给我500万个char[]实例，占用2.5 5M。这些char[]中的文本本身总共有1.2 in的文件大小。1.3 do似乎是从数组实例、它们的字段长度、JVM可能执行的任何对齐等方面产生的开销。但看起来还是太多了？在更高的层次上，我保存在内存中的是一个HashMap。JProfiler向我展示了：5M String: 126MB请注意，为什么JVM要为char[]实例占用这么
浏览 39提问于2020-05-23得票数 0
回答已采纳
1回答
numpy数组的字典真的比ndarray占用更少的内存吗？
python、numpy、dictionary、memory-management、numpy-ndarray
我试图找到一种内存高效的方法，将数据存储在python变量中，以便进行快速访问和分析。我在numpy中初始化了一个2d数组，然后通过以下方法找到它的内存使用情况(使用sys以便以后可以与其他变量类型进行比较)：print('The size of the numpy array is {} bytes'.format(sys.getsizeof(a)))
返回：The size of the <e
浏览 2提问于2021-11-09得票数 1
回答已采纳
1回答
加载存储在PySpark中npz存档中的numpy数组
python、numpy、apache-spark、pyspark
我在S3中存储了大量numpy数组，存储在npz存档中。将它们加载到PySpark NumPy数组的RDD/Dataframe中的最佳方法是什么？rdd=sc.wholeTextFiles("s3://[bucket]/[folder_containing_npz_files]")
但是，numpy.load需要一个文件句柄。并将文件内容作为字符串加载到内存中，占用大量内存
浏览 2提问于2016-02-08得票数 2
回答已采纳
1回答
numpy.nbytes含义不清
python、numpy
来自numpy文档：ndarray.nbytes数组元素消耗的总字节。不包括数组对象的非元素属性占用的内存。以下代码：x[0].nbytes80numpy.uint64: 64-bit unsigned integer
浏览 11提问于2022-04-14得票数 3
回答已采纳
1回答
非数字数据的numpy vs list
python、arrays、numpy
数值数据的Numpy数组显然工作得很好，但是对于非数值数据使用Numpy数组会慢一些吗？', 'rat']当访问和操作这些数据时，这个嵌套列表的列表会比numpy数组等效的列表更快吗？import numpy as np
animals2 = np
浏览 4提问于2014-01-06得票数 2
1回答
为什么numpy.zeros占用很少的空间？
python、arrays、numpy、cython
我想知道为什么numpy.zeros占用这么小的空间？x = numpy.zeros(200000000)x = numpy.repeat(0,200000000)x = numpy.zeros(200000000)
x[0:200000000] =
浏览 2提问于2014-12-19得票数 13
回答已采纳
1回答
当输入类型不同时，Numpy matmul需要的内存比所需的要多。
python、numpy、memory、matrix-multiplication、dot-product
我有一个非常大的布尔2d数组(~1Gb)，我想用一个一维float64数组来匹配它。输出数组将很大，但仍然比2d数组小得多。然而，当我试图匹配它们时，我的系统会崩溃，并试图为2d数组分配足够的内存以使其具有float64，而不仅仅是为输出向量分配足够的内存。", line 7, in <module>numpy.core.exceptions.MemoryError: Unable to
浏览 13提问于2022-11-30得票数 2
2回答
NumPy的字符串数组的内存使用量远远大于对象数组
python、arrays、string、numpy、memory
我对Numpy还很陌生，一直在研究Numpy的dtypes，发现特定于字符串的数据类型，也就是“U”，比对象类型占用了更多的内存空间。[ind1] = 'smile'print(W.nbytes) 结果如下： 800000
2400000 我的问题如下： 1)为什么会发生这种情况为什么dtype = 'U6‘占用的内存</
浏览 20提问于2019-06-27得票数 1
回答已采纳
1回答
带有float64组件的二维数组的最终大小是多少？
python、arrays、numpy
我编写了一个cython函数，使用numpy.array对一个大数组执行一些计算，例如，数组具有24000x1500大小。然后我得到了MemoryError。我很喜欢在python中使用float64组件的二维数组的最终尺寸是多少？我应该怎么做才能避免这个错误？
浏览 4提问于2015-04-12得票数 0
3回答
理解列表的内存分配
python
sys.getsizeof([1])>>> sys.getsizeof('')>>> sys.getsizeof('a')>>> sys.getsizeof('cam')我对引用和紧凑数组有一个模糊的概念在Python中，列表是引用数组，因此它们使用更多的内存来存储引用元素的内存位置。
我只能从上面的例子中推断，列表中的整数占用额外的4个字节(32+4)。<em
浏览 7提问于2015-04-16得票数 0
回答已采纳
1回答
为什么numpy.zeros不在创建时分配它的所有内存？我怎么才能强迫它呢？
python、numpy、memory
我想在Python中创建一个空的Numpy数组，然后用值填充它。下面的代码生成一个带有两个字节整数的1024x1024x1024数组，这意味着它在RAM中至少应该占用2GB。>>> import numpy as np; from sys import getsizeof2147483776
从getsizeof(A)
浏览 0提问于2018-07-12得票数 14
回答已采纳
1回答
列表和numpy数组的比较
python、python-3.x、numpy、numpy-ndarray
从numpy和list的比较开始，numpy占用的内存空间更少。但是，在我尝试了那些无所事事的外壳之后，我感到困惑。以下是我所做的a=np.array([1,2,3])
为什么我创建的numpy数组比list对象占用更大的空间？
浏览 1提问于2018-09-10得票数 2
回答已采纳
1回答
压缩数组(在Python中)比具有一维条目的数组小吗？([x，y] vs [x，y,1]?)
python、arrays、numpy
当我试图让代码使用不同的框架和资源工作时，我多次遇到这样的情况：但目前，我不得不重新设计许多代码，这些错误是由于“不一致”的数组造成的(有些图像使用len(img.shape) = 2 1024,1024，有些图像使用len现在我必须选择一个，我倾向于1024,1024，1，但是由于这段代码应该是内存高效的，所以我想：
使用一维条目的数组<
浏览 0提问于2018-03-08得票数 2
回答已采纳
1回答
numpy loadtxt增量保存内存？
python、arrays、numpy
我有一个非常大的numpy数组，大约有1 so左右。计算进入数组的值需要很长时间，所以一旦数组构建完成，我就用np.savetxt序列化它。但是，从浮点数(每个64位)数组转换为具有表示这些浮点数的字符串(8位*len(Float_2_string_conversion)>64位)的文件时，会创建一个比原始数组大得多的文件。我认为也许，np.loadtxt加载了所有的字符串内容，然后一次转换为浮点型。因此，np.loadtxt的内存</e
浏览 1提问于2020-02-18得票数 1
1回答
numpy数组内存大于预期
python、arrays、numpy、memory
我有一个大约16 to的文件bad_orders.csv，要读取到58GBRAM机器中的numpy数组中。0 0 58当我运行以下命令时，该作业已被反复终止：
import numpy= np.genfromtxt('bad_orders.csv', delimiter =',', missing_values='',dtype='float32
浏览 0提问于2018-06-13得票数 0
1回答
为什么xcode中的映像在运行时占用的空间比实际大小多50倍？
ios、xcode、memory-management、uiimageview
但是，在运行时，调试器说它占用了50 of的空间。我使用UIImageView对象通过Interface放置图像。
问题是，为什么它占用了这么多的内存，有没有办法在不占用这么多空间的情况下使用图像？
浏览 1提问于2015-03-16得票数 2
回答已采纳
1回答
为什么存储为字典的文件会比文件占用更多的空间
python
[:4]) store_dict[hash_key] = store_lineprint(hash_key + ":" + store_line)
这占用了小于100MB的内存。在内存中，我的store_dict的大小大约是1.5GB。我已经检查了内存</em
浏览 5提问于2018-03-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
