首页
学习
活动
专区
工具
TVP
发布

机器学习之线性代数速查表

1.向量1.1基本概念【向量(vector)】:一个同时具有大小和方向的几何对象。【行向量(rowvector)】:一个1×n的矩阵,即矩阵由一个含有n个元素的行所组成:

【列向量(columnvector)】:一个m×1的矩阵,即矩阵由一个包含m个元素的列组成:

行向量的转置是一个列向量,反之亦然。【向量的模】:向量的长度叫做向量的模。假设向量v=(v1,v2,…,vn),则v的模。记作:

【单位向量】:模为1的向量就是单位向量。【向量的基(也称为基底)】:给定一个向量空间V。V的一组基B,是指V里面的可线性生成V的一个线性无关子集。B的元素称为基向量。1.2常见运算向量常见的运算有:加法,减法,标量乘向量以及向量之间的乘法(叉乘、点乘)。在机器学习中,我们需要重点看加法,标量乘向量和点乘。

当上述的法则f:VW为函数时,就是线性函数。比较直观的理解就是大部分一次函数,例如二维空间中的f(x)=ax+b,其中a,b为常数。3.矩阵3.1mxn矩阵3.1.1定义将一些元素排列成若干行,每行放上相同数量的元素,就是一个矩阵。一个m×n的矩阵是一个由m行n列元素排列成的矩形阵列,矩阵里的元素可以是数字、符号或数学式。

其中1≤i≤m,1≤j≤p3.1.3矩阵运算的规律[1]矩阵的加法运算满足交换律:A+B=B+A。

【主子式】:设A是一个n阶方阵,I和J是集合的一个k元子集,那么[A]I,J表示A的k阶子式。其中抽取的k行的行标是I中所有元素,k列的列标是J中所有元素。如果I=J,那么称[A]I,J是A的主子式。如果I=J=(所取的是左起前k列和上起前k行),那么相应的主子式被称为顺序主子式。一个n×n的方块矩阵有n个顺序主子式。

对称矩阵中的右上至左下方向元素以主对角线(左上至右下)为轴对称。若将其写作A=(aij),则:aij=aji方阵与对称的关系:对于任何方阵A,A+AT都是对称矩阵。【对角矩阵】:是一个主对角线之外的元素皆为0的n阶方阵。对角线上的元素可以为0或其他值。对角与对称的关系:对角矩阵都是对称矩阵。

这时,称矩阵A与B“相似”。【相似变换】:相似变换是矩阵之间的一种等价关系。也就是说满足:反身性:任意矩阵都与其自身相似。对称性:如果A和B相似,那么B也和A相似。传递性:如果A和B相似,B和C相似,那么A也和C相似。3.2.5正交矩阵和正交变换【正交矩阵】:一个n阶方阵Q,其元素为实数,而且行(列)向量为两两正交的单位向量,使得该矩阵的转置矩阵为其逆矩阵。

其中,I为单位矩阵。正交矩阵的行列式值必定为+1或-1【正交变换】:Q为正交矩阵,而v为向量,则Qv称作正交变换。正交变换不改变向量的长度。3.2.6用正交阵对对称阵进行合同变换对于n阶对称阵A,必存在正交阵P,使得:

3.3.2实对称矩阵的性质(1)实对称阵的特征值为实数,其特征向量可以取实向量。(2)实对称矩阵都能对角化,且可用正交矩阵对其进行对角化。(3)任意的nxn实对称矩阵都有n个线性无关的特征向量。并且这些特征向量都可以正交单位化而得到一组正交且模为1的向量。故实对称矩阵A可被分解成:

其中Q为正交矩阵,Λ为实对角矩阵。(4)实对称矩阵不同特征值的特征向量正交。3.3.3正定、半正定、负定、半负定对于一个n×n的实对称矩阵M,当且仅当它对于所有非零实系数向量z都有:

其中zT表示z的转置。NOTE:对于复数对称阵,也有同样概念,但此处不考虑。4.特征值和特征向量4.1定义对于nxn方阵A,若标量λ和n维非0列向量v满足:

那么称λ为A的特征值,v称为对应于特征值λ的特征向量。4.2几何意义λ反映的是:特征向量v的长度在线性变换A下缩放的比例。如果特征值为正,则表示v在经过线性变换的作用后方向也不变;如果特征值为负,说明方向会反转;如果特征值为0,则是表示缩回零点。但无论怎样,仍在同一条直线上。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180707A0QNE500?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券