NumPy知识速记

timerring

发布于 2023-05-07 20:27:46

1.6K0

文章被收录于专栏：TechBlogTechBlog

ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。

由于NumPy提供了一个简单易用的C API，因此很容易将数据传递给由低级语言编写的外部库，外部库也能以NumPy数组的形式将数据返回给Python。这个功能使Python成为一种包装C/C++/Fortran历史代码库的选择，并使被包装库拥有一个动态的、易用的接口。

高效处理大数组的数据的原因：

NumPy是在一个连续的内存块中存储数据，独立于其他Python内置对象。NumPy的C语言编写的算法库可以操作内存，而不必进行类型检查或其它前期工作。比起Python的内置序列，NumPy数组使用的内存更少。
NumPy可以在整个数组上执行复杂的计算，而不需要Python的for循环。

ndarray

data = np.random.randn(2, 3) 2 * 3 规模的随机数
ndarray是一个通用的同构数据多维容器，也就是说，其中的所有元素必须是相同类型的。每个数组都有一个 shape （一个表示各维度大小的元组）和一个 dtype （一个用于说明数组数据类型的对象）
data.shape 和 data.dtype

创建ndarray

如果没有特别指定，数据类型基本都是float64（浮点数）。

对序列型对象使用array函数：arr1 = np.array(list1) 多维序列转为对应的多维数组
arr2.ndim 查看维度和 arr2.shape 查看规模
np.zeros(10) 十个全零数组
np.ones((3, 6)) 全一数组
np.empty((2, 3, 2)) 空数组返回的都是一些未初始化的垃圾值
np.arange(15) Python内置函数range的数组版生成0 - 14

ndarray的数据类型

dtype是NumPy灵活交互其它系统的源泉之一，数值型dtype的命名方式相同：**一个类型名（如float或int），后面跟一个用于表示各元素位长的数字。**标准的双精度浮点值（即Python中的float对象）需要占用8字节（即64位）。因此，该类型在NumPy中就记作float64。

arr2 = np.array([1, 2, 3], dtype=np.int32)
arr2 = np.array([1, 2, 3], dtype='i4')

astype将一个数组从一个dtype转换成另一个dtype float_arr = arr.astype(np.float64).

也可以传入其他narray的dtype当作astype 后的参数，使两个array数组的数据类型统一。

如果某字符串数组表示的全是数字，也可以用astype将其转换为数值形式

numeric_strings = np.array(['1.25', '-9.6', '42'], dtype=np.string_)
numeric_strings.astype(float)

使用numpy.string_类型时，一定要小心，因为NumPy的字符串数据是大小固定的，发生截取时，不会发出警告。pandas提供了更多非数值数据的便利的处理方法。

调用astype总会创建一个新的数组（一个数据的备份），即使新的dtype与旧的dtype相同。

NumPy数组的运算

矢量化（vectorization）。大小相等的数组之间的任何算术运算都会将运算应用到元素级：

例如大小相同的数组之间的比较会生成布尔值数组：

In [59]: arr2 > arr
Out[59]:
array([[False,  True, False],
       [ True, False,  True]], dtype=bool)

基本的索引

当你将一个标量值赋值给一个切片时（如arr[5:8]=12），该值会自动广播到整个选区。

跟列表最重要的区别在于，数组切片是原始数组的视图。这意味着数据不会被复制，视图上的任何修改都会直接反映到源数组上。

由于NumPy的设计目的是处理大数据，所以你可以想象一下，假如NumPy坚持要将数据复制来复制去的话会产生何等的性能和内存问题。

注意：如果你想要得到的是ndarray切片的一份副本而非视图，就需要明确地进行复制操作，例如arr[5:8].copy()。

访问方式：arr2d[0][2] 和 arr2d[0, 2] 等价

切片

第一个参数横向切片，第二个参数竖向切片。

In [90]: arr2d
Out[90]: 
array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])
       
In [92]: arr2d[:2, 1:]
Out[92]: 
array([[2, 3],
       [5, 6]])

对切片表达式的赋值操作也会被扩散到整个选区。

布尔型索引

In [98]: names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])

In [99]: data = np.random.randn(7, 4)

In [100]: names
Out[100]: 
array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'],
      dtype='<U4')

In [101]: data
Out[101]: 
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],
       [ 1.0072, -1.2962,  0.275 ,  0.2289],
       [ 1.3529,  0.8864, -2.0016, -0.3718],
       [ 1.669 , -0.4386, -0.5397,  0.477 ],
       [ 3.2489, -1.0212, -0.5771,  0.1241],
       [ 0.3026,  0.5238,  0.0009,  1.3438],
       [-0.7135, -0.8312, -2.3702, -1.8608]])
       
In [102]: names == 'Bob'
Out[102]: array([ True, False, False,  True, False, False, False], dtype=bool)

In [103]: data[names == 'Bob']
Out[103]: 
array([[ 0.0929,  0.2817,  0.769 ,  1.2464],
       [ 1.669 , -0.4386, -0.5397,  0.477 ]])

# 前者相当于行索引，可以后面继续进行列切片
In [104]: data[names == 'Bob', 2:]
Out[104]: 
array([[ 0.769 ,  1.2464],
       [-0.5397,  0.477 ]])

可以用~反转条件

In [108]: cond = names == 'Bob'

In [109]: data[~cond]
Out[109]: 
array([[ 1.0072, -1.2962,  0.275 ,  0.2289],
       [ 1.3529,  0.8864, -2.0016, -0.3718],
       [ 3.2489, -1.0212, -0.5771,  0.1241],
       [ 0.3026,  0.5238,  0.0009,  1.3438],
       [-0.7135, -0.8312, -2.3702, -1.8608]])

不同条件之间也可以用布尔算数符 &（和）、|（或）组合
Python关键字and和or在布尔型数组中无效。要使用&与|。
布尔型索引选取数组中的数据，将总是创建数据的副本，即使返回一模一样的数组也是如此。

花式索引

花式索引（Fancy indexing）是一个NumPy术语，它指的是利用整数数组进行索引。

以特定顺序选取行子集，只需传入一个用于指定顺序的整数列表或ndarray即可

In [119]: arr
Out[119]: 
array([[ 0.,  0.,  0.,  0.],
       [ 1.,  1.,  1.,  1.],
       [ 2.,  2.,  2.,  2.],
       [ 3.,  3.,  3.,  3.],
       [ 4.,  4.,  4.,  4.],
       [ 5.,  5.,  5.,  5.],
       [ 6.,  6.,  6.,  6.],
       [ 7.,  7.,  7.,  7.]])

In [120]: arr[[4, 3, 0, 6]]
Out[120]: 
array([[ 4.,  4.,  4.,  4.],
       [ 3.,  3.,  3.,  3.],
       [ 0.,  0.,  0.,  0.],
       [ 6.,  6.,  6.,  6.]])
# 若使用负数索引将会从末尾开始选取行

In [122]: arr = np.arange(32).reshape((8, 4))

In [123]: arr
Out[123]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15],
       [16, 17, 18, 19],
       [20, 21, 22, 23],
       [24, 25, 26, 27],
       [28, 29, 30, 31]])

In [124]: arr[[1, 5, 7, 2], [0, 3, 1, 2]]
Out[124]: array([ 4, 23, 29, 10])

# 横向切片，并且纵向调换顺序
In [125]: arr[[1, 5, 7, 2]][:, [0, 3, 1, 2]] 
Out[125]: 
array([[ 4,  7,  5,  6],
       [20, 23, 21, 22],
       [28, 31, 29, 30],
       [ 8, 11,  9, 10]])

记住，花式索引跟切片不一样，它总是将数据复制到新数组中。

数组转置和轴对换

返回的是源数据的视图（不会进行任何复制操作）。
转置T属性。 arr.T
在进行矩阵计算时，经常需要用到该操作，比如利用 np.dot 计算矩阵内积：np.dot(arr.T, arr)
transpose 需要得到一个由轴编号组成的元组才能对这些轴进行转置：arr.transpose((1, 0, 2)) 可见轴0和1进行了调换
ndarray还有一个swapaxes方法 arr.swapaxes(1, 2) 返回源数据的视图（不会进行任何复制操作）

快速的元素级数组函数

通用函数（即ufunc）是一种对ndarray中的数据执行元素级运算的函数。可以将其看做简单函数（接受一个或多个标量值，并产生一个或多个标量值）的矢量化包装器。

np.sqrt(arr)
np.exp(arr)
np.maximum(x, y)
remainder, whole_part = np.modf(arr) 返回多个数组，返回浮点数数组的小数和整数部分。

利用数组进行数据处理

假设我们想要在一组值（网格型）上计算函数sqrt(x^2+y^2)。np.meshgrid 函数接受两个一维数组，并产生两个二维矩阵（对应于两个数组中所有的(x,y)对）：

In [155]: points = np.arange(-5, 5, 0.01) # 1000 equally spaced points

In [156]: xs, ys = np.meshgrid(points, points)
In [157]: ys
Out[157]: 
array([[-5.  , -5.  , -5.  , ..., -5.  , -5.  , -5.  ],
       [-4.99, -4.99, -4.99, ..., -4.99, -4.99, -4.99],
       [-4.98, -4.98, -4.98, ..., -4.98, -4.98, -4.98],
       ..., 
       [ 4.97,  4.97,  4.97, ...,  4.97,  4.97,  4.97],
       [ 4.98,  4.98,  4.98, ...,  4.98,  4.98,  4.98],
       [ 4.99,  4.99,  4.99, ...,  4.99,  4.99,  4.99]])

In [158]: z = np.sqrt(xs ** 2 + ys ** 2)

In [159]: z
Out[159]: 
array([[ 7.0711,  7.064 ,  7.0569, ...,  7.0499,  7.0569,  7.064 ],
       [ 7.064 ,  7.0569,  7.0499, ...,  7.0428,  7.0499,  7.0569],
       [ 7.0569,  7.0499,  7.0428, ...,  7.0357,  7.0428, 7.0499],
       ..., 
       [ 7.0499,  7.0428,  7.0357, ...,  7.0286,  7.0357,  7.0428],
       [ 7.0569,  7.0499,  7.0428, ...,  7.0357,  7.0428,  7.0499],
       [ 7.064 ,  7.0569,  7.0499, ...,  7.0428,  7.0499,  7.0569]])

将条件逻辑表述为数组运算

numpy.where 函数是三元表达式 x if condition else y 的矢量化版本。result = np.where(cond, xarr, yarr)

np.where的第二个和第三个参数不必是数组，它们都可以是标量值。在数据分析工作中，where通常用于根据另一个数组而产生一个新的数组。

# 希望将所有正值替换为2，将所有负值替换为－2
In [175]: np.where(arr > 0, 2, -2)
Out[175]: 
array([[-2, -2, -2, -2],
    [ 2,  2, -2,  2],
    [ 2,  2,  2, -2],
    [ 2, -2,  2,  2]])

# 可用常数2替换arr中所有正的值
In [176]: np.where(arr > 0, 2, arr) # set only positive values to 2
Out[176]: 
array([[-0.5031, -0.6223, -0.9212, -0.7262],
    [ 2.    ,  2.    , -1.1577,  2.    ],
    [ 2.    ,  2.    ,  2.    , -0.9975],
    [ 2.    , -0.1316,  2.    ,  2.    ]])

数学和统计方法

sum、mean以及标准差std等聚合计算，既可以当做数组的实例方法调用，也可以当做顶级(np.mean)NumPy函数使用

arr.mean() 或 np.mean(arr) 可以接受一个axis选项参数，用于计算该轴向上的统计值：arr.mean(axis=1)
arr.sum() arr.sum(axis=0)

arr.mean(1)是“计算行的平均值”，arr.sum(0)是“计算每列的和”

cumsum和cumprod之类的方法不聚合，产生一个由中间结果组成的数组：

In [184]: arr = np.array([0, 1, 2, 3, 4, 5, 6, 7])

In [185]: arr.cumsum() # 类似前缀和
Out[185]: array([ 0,  1,  3,  6, 10, 15, 21, 28])
# 同样可以轴向统计
arr.cumsum(axis=0)

用于布尔型数组的方法

sum经常被用来对布尔型数组中的True值计数: (arr > 0).sum()
arrs.any() 测试数组中是否存在一个或多个True
arrs.all() 检查数组中所有值是否都是True

也能用于非布尔型数组，所有非0元素将会被当做True

排序

arr.sort() sort方法就地排序
arr.sort(1) 多维数组可以在任何一个轴向上进行排序，只需将轴编号传给sort即可

顶级方法np.sort返回的是数组的已排序副本，而就地排序则会修改数组本身。计算数组分位数最简单的办法是对其进行排序，然后选取特定位置的值：

In [203]: large_arr = np.random.randn(1000)

In [204]: large_arr.sort()

In [205]: large_arr[int(0.05 * len(large_arr))] # 5% quantile
Out[205]: -1.5311513550102103

唯一化以及其它的集合逻辑

np.unique ：返回数组中的唯一值以及已排序的结果
np.in1d ：测试一个数组中的值在另一个数组中的成员资格（是否存在），返回一个布尔型数组

常用集合函数

用于数组的文件输入输出

NumPy能够读写磁盘上的文本数据或二进制数据。默认情况下，数组是以未压缩的原始二进制格式保存在扩展名为.npy的文件中的。

np.save ：np.save('some_array', arr)

np.load ：np.load('some_array.npy')

np.savez可以将多个数组保存到一个未压缩文件中，将数组以关键字参数的形式传入即可

In [216]: np.savez('array_archive.npz', a=arr, b=arr)

# 加载得到一个类似字典的对象
In [217]: arch = np.load('array_archive.npz')

In [218]: arch['b']
Out[218]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

numpy.savez_compressed ：数据压缩 np.savez_compressed('arrays_compressed.npz', a=arr, b=arr)

线性代数

x.dot(y)等价于np.dot(x, y) 矩阵的积
numpy.linalg 中有一组标准的矩阵分解运算以及诸如求逆和行列式之类的东西。

常用函数：

伪随机数生成

numpy.random 模块对Python内置的random进行了补充，增加了一些用于高效生成多种概率分布的样本值的函数。

np.random.normal 标准正态分布的样本：samples = np.random.normal(size=(4, 4))

随机种子(全局与非全局)!

伪随机数，是因为它们都是通过算法基于随机数生成器种子，在确定性的条件下生成的。

np.random.seed更改随机数生成种子：np.random.seed(1234)
numpy.random.RandomState：numpy.random 的数据生成函数使用了全局的随机种子。要避免全局状态，你可以使用 numpy.random.RandomState，创建一个与其它隔离的随机数生成器：

In [245]: rng = np.random.RandomState(1234)

In [246]: rng.randn(10)
Out[246]: 
array([ 0.4714, -1.191 ,  1.4327, -0.3127, -0.7206,  0.8872,  0.8596,
       -0.6365,  0.0157, -2.2427])

numpy.random中常用函数：

示例：随机漫步

In [247]: import random
   .....: position = 0
   .....: walk = [position]
   .....: steps = 1000
   .....: for i in range(steps):
   .....:     step = 1 if random.randint(0, 1) else -1
   .....:     position += step
   .....:     walk.append(position)
   .....:

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-05-06，如有侵权请联系 cloudcommunity@tencent.com 删除

numpy