有的时候，在看别人代码时会时不时看到ascontiguous()这样的一个函数，查文档会发现函数说明只有一句话：“Return a contiguous array (ndim >= 1) in memory (C order).”
AttributeError: incompatible shape for a non-contiguous array
NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。
行是指多维数组一维展开的方式，对应的是列优先。C/C++中使用的是行优先方式（row major），Matlab、Fortran使用的是列优先方式（column major），PyTorch中Tensor底层实现是C，也是使用行优先顺序，因此也称为 C order。
欢迎来到专栏《Python进阶》。在这个专栏中，我们会讲述Python的各种进阶操作，包括Python对文件、数据的处理，Python各种好用的库如NumPy、Scipy、Matplotlib、Pandas的使用等等。我们的初心就是带大家更好的掌握Python这门语言，让它能为我所用。
NumPy 教程NumPy Ndarray 对象NumPy 数据类型数据类型对象 (dtype)
Ndarray 可以理解为Java里面List 的实现，封装了更好的接口和api。
在前面的内容中，我们已经详细讲述了 ndarray 的使用，在本章的开始部分，我们来聊一聊 ndarray 的内部机理，以便更好的理解后续的内容。
Numpy是python的一个三方库，主要是用于计算的，数组的算数和逻辑运算。与线性代数有关的操作。
NumPy是一个强大、紧凑和表达力强的语法来访问、操作和计算向量、矩阵和高维数组的科学计算库。
ndarray是numpy中的多维数组，数组中的元素具有相同的类型，且可以被索引。
在前面一篇博客中我们介绍了一些用python3处理表格数据的方法，其中重点包含了vaex这样一个大规模数据处理的方案。这个数据处理的方案是基于内存映射（memory map）的技术，通过创建内存映射文件来避免在内存中直接加载源数据而导致的大规模内存占用问题，这使得我们可以在本地电脑内存规模并不是很大的条件下对大规模的数据进行处理。python3中提供了mmap这样一个仓库，可以直接创建内存映射文件。
数组编程为访问、操纵和操作向量、矩阵和高维数组数据提供了功能强大、紧凑且易于表达的语法。NumPy是Python语言的主要数组编程库。它在物理、化学、天文学、地球科学、生物学、心理学、材料科学、工程学，金融和经济学等领域的研究分析流程中起着至关重要的作用。例如，在天文学中，NumPy是用于发现引力波[1]和首次对黑洞成像[2]的软件栈的重要组成部分。本文对如何从一些基本的数组概念出发得到一种简单而强大的编程范式，以组织、探索和分析科学数据。NumPy是构建Python科学计算生态系统的基础。它是如此普遍，甚至在针对具有特殊需求对象的几个项目已经开发了自己的类似NumPy的接口和数组对象。由于其在生态系统中的中心地位，NumPy越来越多地充当此类数组计算库之间的互操作层，并且与其应用程序编程接口（API）一起，提供了灵活的框架来支持未来十年的科学计算和工业分析。
展平 ravel 只显示变为一维数组的视图 flatten将多维数组变成一维数组后保存结果
在这里，我们回顾几个基本的数组概念，展示一个简单而强大的用于分析科学数据的编程范例。
NumPy是Python中科学计算的基础软件包。 它是一个提供多了维数组对象，多种派生对象（如：掩码数组、矩阵）以及用于快速操作数组的函数及API， 它包括数学、逻辑、数组形状变换、排序、选择、I/O 、离散傅立叶变换、基本线性代数、基本统计运算、随机模拟等等。
大多数机器学习从业者习惯于在将数据输入机器学习算法之前采用其数据集的矩阵表示形式。矩阵是一种理想的形式，通常用行表示数据集实例，用列表示要素。
在这篇附录中，我会深入NumPy库的数组计算。这会包括ndarray更内部的细节，和更高级的数组操作和算法。 这章包括了一些杂乱的章节，不需要仔细研究。 A.1 ndarray对象的内部机理 NumPy的ndarray提供了一种将同质数据块（可以是连续或跨越）解释为多维数组对象的方式。正如你之前所看到的那样，数据类型（dtype）决定了数据的解释方式，比如浮点数、整数、布尔值等。 ndarray如此强大的部分原因是所有数组对象都是数据块的一个跨度视图（strided view）。你可能想知道数组视图arr[
NumPy 提供了强大的多维数组操作功能，并允许用户控制数组在内存中的布局方式。内存布局对于数组的性能和内存消耗都有重要影响。在本篇博客中，我们将深入介绍 NumPy 中的内存布局，包括连续内存布局（C顺序）和分散内存布局（Fortran顺序），并通过实例演示如何操作数组的内存布局。
NumPy 由 Travis Oliphant 于 2005 年创建。它是一个开源项目，您可以自由使用它。
·numpy.array(object,dtype,copy,order,subok,ndmin)
Numpy 是 Python 中科学计算的核心库，NumPy 这个词来源于 Numerical 和 Python 两个单词。它提供了一个高性能的多维数组对象，以及大量的库函数和操作，可以帮助程序员轻松地进行数值计算，广泛应用于机器学习模型、图像处理和计算机图形学、数学任务等领域。
前几天群里有个大佬推荐了一门极客时间里关于数据分析的课程，教学方式是图文+音频，是我比较喜欢的教学方式之一，光看评论都能学到很多的知识，比如学习方式，对内容的理解等，感兴趣的朋友也可以一起学习。
Numpy是Python的一个很重要的第三方库，很多其他科学计算的第三方库都是以Numpy为基础建立的。Numpy的一个重要特性是它的数组计算。
NumPy是Python中科学计算的基础包，它是一个Python库，提供多维数组对象，各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种API，有包括数学、逻辑、形状操作、排序、选择、输入输出、离散傅立叶变换、基本线性代数，基本统计运算和随机模拟等等。
NumPy 中定义的最重要的对象是称为 ndarray 的 N 维数组类型。 它描述相同类型的元素集合。 可以使用基于零的索引访问集合中的项目。 ndarray中的每个元素在内存中使用相同大小的块。
NumPy 中定义的最重要的对象是称为 ndarray 的 N 维数组类型。 它描述相同类型的元素集合。 可以使用基于零的索引访问集合中的项目。
NumPy 中定义的最重要的对象是称为 ndarray 的 N 维数组类型。 它描述相同类型的元素集合。 可以使用基于零的索引访问集合中的项目。 ndarray中的每个元素在内存中使用相同大小的块。 ndarray中的每个元素是数据类型对象的对象(称为 dtype)。 从ndarray对象提取的任何元素(通过切片)由一个数组标量类型的 Python 对象表示。 下图显示了ndarray，数据类型对象(dtype)和数组标量类型之间的关系。 ndarray类的实例可以通过后面描述的不同的数组创建例程来构造。
本文我们讨论 pandas 的内存使用，展示怎样简单地为数据列选择合适的数据类型，就能够减少 dataframe 近 90% 的内存占用。
所谓数组，就是相同数据类型的元素按一定顺序排列的集合；数组的存储区间是连续的，占用内存比较大，故空间复杂的很大。但数组的二分查找时间复杂度小，都是O(1)；数组的特点是：查询简单，增加和删除困难；
散列表（Hash Table）是一种非常重要的数据结构，它允许我们根据键（Key）直接访问在内存存储位置的数据。这种数据结构是一种特殊类型的关联数组，对于每个键都存在一个唯一的值。它被广泛应用于各种程序设计和应用中，扮演着关键的角色。散列表的主要优点是查找速度快，因为每个元素都存储了它的键和值，所以我们可以直接访问任何元素，无论元素在数组中的位置如何。这种直接访问的特性使得散列表在处理查询操作时非常高效。因此，无论是进行数据检索、缓存操作，还是实现关联数组，散列表都是一种非常有用的工具。这种高效性使得散列表在需要快速查找和访问数据的场景中特别有用，比如在搜索引擎的索引中。散列表的基本实现涉及两个主要操作：插入（Insert）和查找（Lookup）。插入操作将一个键值对存储到散列表中，而查找操作则根据给定的键在散列表中查找相应的值。这两种操作都是 O(1) 时间复杂度，这意味着它们都能在非常短的时间内完成。这种时间复杂度在散列表与其他数据结构相比时，如二分搜索树或数组，显示出显著的优势。然而，为了保持散列表的高效性，我们必须处理冲突，即当两个或更多的键映射到同一个内存位置时。这是因为在散列表中，不同的键可能会被哈希到同一位置。这是散列表实现中的一个重要挑战。常见的冲突解决方法有开放寻址法和链地址法。开放寻址法是一种在散列表中解决冲突的方法，其中每个单元都存储一个键值对和一个额外的信息，例如，计数器或下一个元素的指针。当一个元素被插入到散列表中时，如果当前位置已经存在另一个元素，那么下一个空闲的单元将用于存储新的元素。然而，这个方法的一个缺点是，在某些情况下，可能会产生聚集效应，导致某些单元过于拥挤，而其他单元过于稀疏。这可能会降低散列表的性能。链地址法是一种更常见的解决冲突的方法，其中每个单元都存储一个链表。当一个元素被插入到散列表中时，如果当前位置已经存在另一个元素，那么新元素将被添加到链表的末尾。这种方法的一个优点是它能够处理更多的冲突，而且不会产生聚集效应。然而，它也有一个缺点，那就是它需要更多的空间来存储链表。总的来说，散列表是一种非常高效的数据结构，它能够快速地查找、插入和删除元素。然而，为了保持高效性，我们需要处理冲突并采取一些策略来优化散列表的性能。例如，我们可以使用再哈希（rehashing）技术来重新分配键，以更均匀地分布散列表中的元素，减少聚集效应。还可以使用动态数组或链表等其他数据结构来更好地处理冲突。这些优化策略可以显著提高散列表的性能，使其在各种应用中更加高效。
NumPy是用于Python的科学计算库。它是数据科学领域中许多其他库（例如Pandas）的基础。
本节主要介绍numpy中在数组上的一些常规操作，在数组级别上包括数组迭代，数组拼接、数组分割，在元素级别包括元素迭代、元素增加、元素删除等。 本节的内容比较重要，同时也比较基础，是养成良好的编程习惯的重要的一个环节，因为每一个方法都可以通过最笨拙的索引方法去实现，但是这对于代码的可读性和程序的运行速度都是有影响的。
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，同时对数组运算提供了大量的数学函数库。 Numpy 是一个运行速度非常快的数学库，内部解除了CPython的GIL，运行效率极好，主要用于数组计算，是大量机器学习框架的基础库，NumPy主要包括如下： （1）强大的N维数组对象 ndarray （2）广播功能函数 （3）整合 C/C++/Fortran 代码的工具 （4）线性代数、傅里叶变换、随机数生成等功能。 NumPy 通常与 SciPy（Scientific Python）和 Matplotlib（绘图库）组合使用，用于替代 MatLab。
在执行程序时，如果内存中有大量活动的对象，就可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论缩小对象的方法，大幅减少 Python 所需的内存。
NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。这种扩展库可以用来存储和处理大型多维矩阵，比Python自身的列表结构要高效很多。
如果新数组大于原始数组，则新数组将填充a的重复副本。 请注意，此行为与a.resize(new_shape)不同，后者用零而不是重复的a填充。参数 ：a ：array_like
NumPy（Numerical Python的缩写）是一个开源的Python科学计算库。使用NumPy，就可以很自然地使用数组和矩阵。 NumPy包含很多实用的数学函数，涵盖线性代数运算、傅里叶变换和随机数生成等功能。
标准Python的列表(list)中，元素本质是对象。如：L = [1, 2, 3]，需要3个指针和三个整数对象，对于数值运算比较浪费内存和CPU。因此，Numpy提供了ndarray(N-dimensional array object)对象：存储单一数据类型的多维数组。
在执行程序时，如果内存中有大量活动的对象，就可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论缩小对象的方法，大幅减少Python所需的内存。
在机器学习中，如果我们的样本数量很大，在大多数情况下，首选解决方案是减少样本量、更改算法，或者通过添加更多内存来升级机器。这些方案不仅粗暴，而且可能并不总是可行的。由于大多数机器学习算法都期望数据集（例如常用的 DataFrame）是保存在内存中的对象（因为内存读取要比磁盘读取快不止一个量级），所以升级硬件这种解决方案基本上会被否定。所以科学家们找到的一种既能够保存信息，又节省内存的方案：我们称之为“稀疏矩阵”。
注意：上述两个切片是否存在问题，假如不存在，结果又是什么？如果你能回答正确这两个问题，python切片，就没有问题了。
张量表示由一个数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。
pandas是python数据分析中一个很重要的包； 在学习过程中我们需要预备的知识点有：DataFrame、Series、NumPy、NaN/None；
来源：DeepHub IMBA本文约2700字，建议阅读9分钟本文为你介绍一种既能够保存信息，又节省内存的方案：我们称之为“稀疏矩阵”。 在机器学习中，如果我们的样本数量很大，在大多数情况下，首选解决方案是减少样本量、更改算法，或者通过添加更多内存来升级机器。这些方案不仅粗暴，而且可能并不总是可行的。由于大多数机器学习算法都期望数据集（例如常用的 DataFrame）是保存在内存中的对象（因为内存读取要比磁盘读取快不止一个量级），所以升级硬件这种解决方案基本上会被否定。所以科学家们找到的一种既能够保存信息，
计算机通过为数组项分配一段连续的内存单元，从而支持对数组的随机访问。数组在内存中是按顺序存放的，可以通过下标直接定位到某一个元素存放的位置。所以不管数组多大，它访问第一个元素所需的时间和访问最后一个元素需要的时间是一样的。
教程地址：http://www.showmeai.tech/tutorials/33
想要有效的掌握数据驱动科学和计算需要理解数据是如何存储和处理的。本节将描述和对比数组在 Python 语言中和在 NumPy 中是怎么处理的，NumPy 是如何优化了这部分的内容。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
