我将按照以下顺序讨论每个矩阵操作。 内积 点积 转置 迹 秩 行列式 逆 伪逆 扁平化 特征值和特征向量 内积 Inner product 内积接收两个大小相等的向量，并返回一个数字(标量)。...秩 Rank 矩阵的秩是由它的列或行张成(生成)的向量空间的维数。换句话说，它可以被定义为线性无关的列向量或行向量的最大个数。...如果你试图计算一个奇异矩阵(行列式为0的方阵)的真逆，你会得到一个错误。...特征值的总和(1+5+1=7)等于同一个矩阵的迹(2+3+2=7)!特征值(1x5x1=5)的乘积等于同一个矩阵的行列式(5)! 特征值和特征向量在主成分分析(PCA)中非常有用。...在主成分分析中，相关矩阵或协方差矩阵的特征向量代表主成分(最大方差方向)，对应的特征值代表每个主成分解释的变化量。 关键要点总结 由于有了numpy库，只需一两行代码就可以轻松地执行矩阵操作。
，就返回True 3.三元运算符 np.where() 满足要求，赋值第一个值，否则赋值第二个值 np.logical_and()...argmin -- 最小值下标 4.5 矩阵[*] 1.矩阵和向量 矩阵：理解-二维数组 向量：理解-一维数组 2.加法和标量乘法...加法： 对应位置相加 乘法： 标量和每个位置的元素相乘 3.矩阵向量（矩阵）乘法[*****] [M行, N列]*[N行, L列] = [M行, L列]...4.矩阵乘法性质 1.满足结合律，不满足交换律 5.单位矩阵 对角线为1，其他位置为0的矩阵 6.逆 矩阵A*矩阵B=单位矩阵I...，没有区别 但是，dot支持矩阵和数字相乘 5.Pandas 5.1Pandas介绍 1.pandas概念 开源的数据挖掘库 用于数据探索
Pandas部分应掌握的重要知识点 import numpy as np import pandas as pd 一、DataFrame数据框的创建 1、直接基于二维数据创建（同时使用index和columns...索引器中括号内行列下标的位置上都允许使用切片和花式索引，下例中行使用切片，列使用花式索引。 注意：下面的3:5表示下标为3和4的两行，[0,2]表示下标为0和2的两列。...六、处理缺失值 1、Pandas中缺失值的表示 Pandas表示缺失值的一种方法是使用NaN(Not a Number)，它是一个特殊的浮点数；另一种是使用Python中的None；Pandas会自动把...data=pd.Series([1, np.nan, 'hello', None]) data 2、 与缺失值判断和处理相关的方法 isnull(): 判断每个元素是否是缺失值，会返回一个与原对象尺寸相同的布尔性...Pandas对象 notnull(): 与isnull()相反 dropna(): 返回一个删除缺失值后的数据对象 fillna(): 返回一个填充了缺失值之后的数据对象 （1）判断是否含有缺失值： data.isnull
Pandas是python中一个强大的数据分析和处理模块工具，通过此模块能快速、灵活的处理数据，为复杂的数据分析提供基础分析功能。...Pandas模块处理两个重要的数据结构是：DataFrame(数据框)和Series(系列），DataFrame（数据框）就是一个二维表，每列代表一个变量，每行为一次观测，行列交叉的单元格就是对应的值，...首先安装pandas包： 案例1：创建一个数据框 说明：v_data变量赋值的是后面的数据，通过df=pd.DataFrame(v_data)构造函数生成数据框并赋值给df，构造函数里有很多参数可以应用...执行后结果： 案例2：Series(系列），其实就是一个一维数组，属于同类型的进行多次观测后记录的结果值。它服从某种分布，默认情况下系列的索引是自增的非负整数列。...程序执行后结果如下： 如果我们对上面的系列作向量化操作运算，如开平方根 程序执行后结果如下： 以上是对pandas模块详细的讲解，下面根据案例对外部数据文件处理： 需要安装xrld处理excel文件 案例
,base=2) 1开始以比为2的10个等比数列 2.3Pandas的使用 导入Pandas的包import pandas 可以说是python中的Excel。...创建数组：pandas.Series([1,2,3]) 第一列为索引，第二列为数值 a=pandas.DataFrame(numpy.arange(12),reshape(3,4)) a[1] 为提取第一列...(’/data.csv’,index=false) 删除特征为空的行：a.dropna() 删除特征为空的列：a.dropna(axis=1,how=‘any’) 空值替换：a.fillna(0) 空值用均值替换...向量：一个同时具有大小和方向的几何对象。 向量的模：表示向量的长度。 ? 向量的范数：向量长度的不同表达 ? 1范数：向量各个维度的绝对值求和。...2.6优化基础 极小值、极大值： ? 正定矩阵： ? 顺序主子式：设A是nXn的矩阵，它的顺序主子式是左上角矩阵的行列式。
'' '''2、np.cumsum()返回一个数组，将像sum()这样的每个元素相加，放到相应位置''' '''NumPy数组实际上被称为ndarray NumPy最重要的一个特点是N维数组对象...，相当于shape中n*m的值，改变原序列 ndarray.itemsize,数组每个元素大小，以字节为单位 ndarray.dtype 数组元素类型 ndarray.nbytes...， np.ones((3,3)) 创建指定行列的数值为浮点1的矩阵 np.zeros((3,3)) 创建指定行列的数值为浮点0的矩阵 np.identity(n,type) 创建指定阶数指定元素类型的单位矩阵...() 创建指定行列的随机矩阵，元素为0到1之间 np.random.rand(10, 10) 创建指定形状(示例为10行10列)的随机数组(范围在0至1之间) np.random.uniform...() 计算矩阵的逆 n.vdot() 两个向量的点积 n.inner() 两个数组的内积 n.determinant() 数组的行列式 n.solve() 求解线性矩阵方程
除此之外，doBy包中的summaryBy函数和psych包中的describeBy函数也提供了更为个性化的描述性统计量输出。...pivot_table()内的参数列表如下： pandas.pivot_table(data, #数据框名称 index=None, #行索引（对应Excel...透视表中的行字段，通常为类别型字段） columns=None, #列字段（对应Excel透视表中的列字段，通常为类别型字段） values=None...以上透视表是针对数值型变量的分组聚合，那么针对类别型变量则需要使用pandas中的交叉表函数进行列表分析。...事实上，crosstab似乎同时也能兼容透视表的完整功能，但是奇怪的是透视表提供了数据框名称参数，指定参数时无需声明数据框名称，而且行列字段都可指定列表对象（二维以上，指定多个 字段），但是交叉表则没有给出数据框名称向量
也正因为pandas这3种独特的数据结构，个人一度认为pandas包名解释为：pandas = panel + dataframe + series，根据维数取相应的首字母个数，从而构成pandas，这是个人非常喜欢的一种关于...lookup，loc的一种特殊形式，分别传入一组行标签和列标签，lookup解析成一组行列坐标，返回相应结果： ?...检测各行是否重复，返回一个行索引的bool结果，可通过keep参数设置保留第一行/最后一行/无保留，例如keep=first意味着在存在重复的多行时，首行被认为是合法的而可以保留 删除重复值，drop_duplicates...字符串向量化，即对于数据类型为字符串格式的一列执行向量化的字符串操作，本质上是调用series.str属性的系列接口，完成相应的字符串操作。...对象，功能与python中的普通map函数类似，即对给定序列中的每个值执行相同的映射操作，不同的是series中的map接口的映射方式既可以是一个函数，也可以是一个字典 ?
NumPy 包是Python生态中数据分析，机器学习和科学计算领域的主力工具包。它极大地简化了对向量和矩阵地处理。...一些主要的开发工具包也是基于 NumPy 作为基础工具包来开发的，比如 scikit-learn, SciPy, pandas, and tensorflow 。...这些运算符也可以在不同的行列数的矩阵上使用只要不同维度的矩阵是一个一维矩阵（例如，只有一行或一列），在这种形式上， NumPy 使用了 broadcast 规则来进行计算： ?...python 中最流行的一个框架是 pandas dataframe ，这也是一个使用 NumPy 构建的一个软件包。 ? 音频和时间序列数据 一个音频文件是一个以为数组的样本。...现在，这些就是一个模型可以处理并且使用的一个数值型卷积向量。我在上图中的其他行留了空白，但是他们实际是被填充用于训练（或者是预测）。
Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team...创建DataFrame有多种方式： 以字典的字典或Series的字典的结构构建DataFrame，这时候的最外面字典对应的是DataFrame的列，内嵌的字典及Series则是其中每个值。...由d构建的为一个4行2列的DataFrame。其中one只有3个值，因此d行one列为NaN（Not a Number）--Pandas默认的缺失值标记。...选取第一行到第三行（不包含）的数据df.iloc[:,1]#选取所有记录的第一列的值，返回的为一个Seriesdf.iloc[1,:]#选取第一行数据，返回的为一个Series PS：loc为location...基本运算 Pandas支持基本的运算及向量化运算。
NumPy (Numerical Python)是一个科学计算包，它提供了许多创建和操作数字数组的方法。...我们只需要确定矩阵的维数，就可以进行矩阵的创建。 5. 单位矩阵 单位矩阵是一个对角线为1，其他位置为0的方阵(nxn)。可以用Np.eye 或 np.identity来创建。 ? 6....只有一个值的数组 我们可以使用np.full创建在每个位置具有相同值的数组。 ? 我们需要指定要填充的大小和数字。此外，可以使用dtype参数更改数据类型。默认数据类型为整数。...连接 这与pandas的合并的功能很相似。 ? 我们可以使用重塑函数将这些数组转换为列向量，然后进行垂直连接。 ? 14. Vstack 它用于垂直堆叠数组(行在彼此之上)。 ?...Inv 计算矩阵的逆。 ? 矩阵的逆矩阵是与原矩阵相乘得到单位矩阵的矩阵。不是每个矩阵都有逆矩阵。如果矩阵A有一个逆矩阵，则称为可逆或非奇异。 18. Eig 计算一个方阵的特征值和右特征向量。
一个 series 是一个 column，一个DataFrame是一个由series 集合组成的多维表 。为了创建pandas series，我们使用numpy来创建一个一维数组或python列表。...且有1000行，如果 DataFrame 有很多行列，我们就需要一种方法来知晓行列数据，对此我们使用 shape 方法。 df = pd.read_csv('....编辑 DataFrame 维护 DataFrame 我们可以： 创建一个新的 DataFrame 创建一个新的列到 DataFrame 从 DataFrame 移除一个存在列 修改一个存在 DataFrame...的列 改变 DataFrame 列的数据类型 创建 像往常一样，首先我们要导入依赖包。...获取最后5行数据 获得标题，数据作为一个pandas series返回 计算这个dataframe的行和列个数 过滤包含python的标题 过滤包含JavaScript的标题 尝试对数据做一些增改计算格式化等操作
数组属性 ndarray具有多个重要属性，可以描述其特性： ndim：数组的维数，也称为rank。 shape：数组的形状，一个元组表示每个维度的大小。 size：数组中元素的总数。...线性代数函数：矩阵乘法、行列式计算、特征值分解等。...该函数将矩阵分解为三个矩阵的乘积，即 U、Σ 和 VT 。 QR 分解是将矩阵分解为一个正交矩阵 Q 和一个上三角矩阵 R 的乘积。...特征值分解（Eigendecomposition） ： 特征值分解是将矩阵分解为其特征值和特征向量的乘积。...图像转置：可以使用NumPy对图像进行水平或垂直翻转，即交换图像的行或列。 通道分离：将彩色图像的RGB三个通道分别提取出来，并显示单通道的图像。这对于分析每个颜色通道的特性非常有用。
前言 本系列前2篇已经稍微展示了 python 在数据处理方面的强大能力，这主要得益于 pandas 包的各种灵活处理方式。...---- ---- 导入包 本文所需的包，安装命令如下: pip install xlwings pip install pandas pip install numpy 建议你安装 anaconda...如下： 为了管理方便，下面会把每个环节的处理放入一个独立的方法中 ---- 加载数据 代码如下： 由于这次的标题是从第3行开始，因此 wrk.range('a3').current_region...此外 pandas 中有各种内置的填充方式。 ffill 表示用上一个有效值填充。 合并单元格很多时候就是第一个有值，其他为空，ffill 填充方式刚好适合这样的情况。...如下是一个 DataFrame 的组成部分： 红框中的是 DataFrame 的值部分(values) 上方深蓝色框中是 DataFrame 的列索引(columns)，注意，为什么方框不是一行？
〇，pandas简介 pandas是python数据分析领域最为经典的库之一，基于numpy构建。 pandas中常用的数据结构有： 1，Series：一维数组，有index。...2，DataFrame：二维的表格型数据结构。可以将DataFrame理解为Series的容器。 3，Panel ：三维的数组。可以理解为DataFrame的容器。...具有以下优点： 数据直观 ———— 就像一个excel表格 功能强大 ———— 极其丰富的方法 DataFrame的概要如下： DataFrame是一个Series容器，创建和索引方式和Series...DataFrame可以看成是一个有index和columns名称的array，支持向量化。...二，增删行列 1，增加行 ? 2，删除行 ? 3，增加列 ? 4，删除列 ? 5，移动行和列 ? ? ? 三，排序 1，按列值排序 ? ? 2，按索引和列名排序 ? ?
如今，NumPy 被Python其它科学计算包作为基础包，已成为 Python 数据分析的基础，可以说 NumPy 就是SciPy、Pandas等数据处理或科学计算库最基本的函数功能库。...范数等 linalg.norm(x[, ord, axis, keepdims]) 向量或者矩阵的范数 linalg.det(a) 行列式的值 linalg.matrix_rank(M[, tol,...SVD分解 这里使用第三十讲奇异值分解习题课的例子 ? 方阵的特征值和特征向量 这里使用第二十一讲习题课的例子 ? （可以发现结果都对特征向量进行了标准化） 特征值 该方法只返回特征值 ?...行列式的值 可以单独求解单个矩阵的行列式的值，也可以多个矩阵同时求解行列式的值 ? 矩阵的秩 同样支持多个矩阵同时求解矩阵的秩 ? 矩阵的迹 ?...最小二乘 使用第十六讲习题课的例子，返回值中含有多个值，系数矩阵在返回值的第一个数组中 ? 逆 使用第三讲课程内容中的例子 ?
) print(np_array) 输出： [1 2 3 4 5] 在这个例子中，我们从一个Python列表创建了一个一维的NumPy数组。...) 输出： [[1 2 3] [4 5 6] [7 8 9]] 这里，我们创建了一个二维数组，它包含三个子列表，每个子列表代表矩阵的一行。...以下是一些常用的属性： 数组的维度（ndim）： print(np_matrix.ndim) 输出： 2 该属性返回数组的维度。对于二维数组，返回值为2。...矩阵行列式 行列式是矩阵的重要属性之一，尤其在求解线性方程组、特征值和特征向量时非常有用。我们可以使用np.linalg.det()函数来计算矩阵的行列式。...接着，比较两个数组在每个维度上的大小，如果其中一个数组在某个维度的大小为1，则该数组可以在此维度上进行广播（扩展到与另一个数组相同的大小）。
每次爬虫获取的数据都是需要处理下的。 所以这一次简单讲一下Pandas的用法，以便以后能更好的使用。 数据整合是对数据进行行列选择、创建、删除等操作。...只不过ix和loc方法，行索引是前后都包括的，而列索引则是前包后不包(与列表索引一致)。 iloc方法则和列表索引一致，前包后不包。...当参数axis的值为0时，纵向合并。 当参数axis的值为1时，横向合并。...05 排序 Pandas的排序方法有以下三种。 sort_values、sort_index、sortlevel。 第一个表示按值排序，第二个表示按索引排序，第三个表示按级别排序。...03 数据分箱 分箱法包括等深分箱(每个分箱样本数量一致)和等宽分箱(每个分箱的取值范围一致)。 其中Pandas的qcut函数提供了分箱的实现方法，默认是实现等宽分箱。
函数 意义 np.zeros((3,4)) 创建3行4列全部为0的数组 np.ones((3,4)) 创建3行4列全部为1的数组 np.empty((2,4)) 创建2行4列的空数组，空数组中的值并不为...0，而是为初始化的垃圾值 np.zeros_like(nd) 以nd相同的维度创建一个全为0的数组 np.ones_like(nd) 以nd相同的维度创建一个全为1的数组 np.empty_like(nd...) 以nd相同的维度创建空数组 np.eye(5) 创建一个5*5的矩阵，对角线为1，其余为0 np.full((2,2),111) 创建一个2行2列全是111的数组，第2个参数为指定值 下面，我们随机举些列子...有时候我们在进行图像处理时，会对对应的像素进行乘积运算，但每个像素的变更运算是一样的，难道我们创建一个同样维度的数组进行运算吗？显然不划算。...首先，我们计算100万以内每个数的sin值。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
