学习笔记DL005:线性相关、生成子空间,范数,特殊类型矩阵、向量

线性相关、生成子空间。

逆矩阵A⁽-1⁾存在,Ax=b 每个向量b恰好存在一个解。方程组,向量b某些值,可能不存在解,或者存在无限多个解。x、y是方程组的解,z=αx+(1-α),α取任意实数。

A列向量看作从原点(origin,元素都是零的向量)出发的不同方向,确定有多少种方法到达向量b。向量x每个元素表示沿着方向走多远。xi表示沿第i个向量方向走多远。Ax=sumixiA:,i。线性组合(linear combination)。一组向量线性组合,每个向量乘以对应标量系数的和。sumiciv⁽i⁾。一组向量的生成子空间(span)是原始向量线性组合后能抵达的点的集合。确定Ax=b是否有解,相当于确定向量b是否在A列向量的生成子空间中。A的列空间(column space)或A的值域(range)。方程Ax=b对任意向量b∈ℝ⁽m⁾都存在解,要求A列空间构成整个ℝ⁽m⁾。ℝ⁽m⁾点不在A列空间,对应b使方程没有解。矩阵A列空间是整个ℝ⁽m⁾的要求,A至少有m列,n>=m。否则,A列空间维数小于m。

列向量冗余为线性相关(linear dependence)。一组向量任意一个向量都不能表示成其他向量的线性组合,线性无关(linearly independent)。某个向量是一组向量中某些向量的线性组合,这个向量加入这组向量不会增加这组向量的生成子空间。一个矩阵列空间涵盖整个ℝ⁽m⁾,矩阵必须包含一组m个线性无关的向量。是Ax=b 对每个向量b取值都有解充分必要条件。向量集只有m个线性无关列向量,不是至少m个。不存在一个m维向量集合有多于m个彼此线性不相关列向量,一个有多于m个列向量矩阵有可能有不止一个大小为m的线性无关向量集。

矩阵可逆,要保证Ax=b 对每个b值至多有一个解。要确保矩阵至多有m个列向量。矩阵必须是一个方阵(square),m=n,且所有列向量线性无关。一个列向量线性相关方阵为奇异的(singular)。矩阵不是方阵或是奇异方阵,方程可能有解,但不能用矩阵逆求解。逆矩阵右乘AA⁽-1⁾=I。左逆、右逆相等。

范数(norm)。

衡量向量大小。L⁽p⁾:||x||p=(sumi|xi|⁽p⁾)⁽1/p⁾。p∈ℝ,p>=1。范数(L⁽p⁾范数),向量映射到非负值函数。向量x范数衡量从原点到点x距离。范数满足性质,f(x)=0=>x=0,f(x+y)<=f(x)+f(y)三解不等式(triangel inequality),∀α∈ℝ f(αx)=|α|f(x)。

p=2,L⁽2⁾范数称欧几里得范数(Euclidean norm)。表示从原点出发到向量x确定点的欧几里得距离。简化||x||,略去下标2。平方L⁽2⁾ 范数衡量向量大小,通过点积x⫟x计算。平方L⁽2⁾范数在数学、计算上比L⁽2⁾范数更方便。平方L⁽2⁾范数对x中每个元素的导数只取决对应元素。L⁽2⁾范数对每个元素的导数和整个向量相关。平方L⁽2⁾范数,在原点附近增长缓慢。

L⁽1⁾范数,在各个位置余率相同,保持简单数学形式。||x||1=sumi|xi|。机器学习问题中零和非零差异重要,用L⁽1⁾范数。当x中某个元素从0增加∊,对应L⁽1⁾范数也增加∊。向量缩放α倍不会改变该向量非零元素数目。L⁽1⁾范数常作为表示非零元素数目替代函数。

L⁽∞⁾范数,最大范数(max norm)。表示向量具有最大幅值元素绝对值,||x||₍∞₎=maxi|xi|。

Frobenius范数(Frobenius norm),衡量矩阵大小。||A||F=sqrt(sumi,jA⁽2⁾₍i,j₎)。

两个向量点积用范数表示,x⫟y=||x||2||y||2cosθ,θ表示x、y间夹角。

特殊类型矩阵、向量。

对角矩阵(diagonal matrix),只在主对角线上有非零元素,其他位置都是零。对角矩阵,当且仅当对于所有i != j,Di,j=0。单位矩阵,对角元素全部是1。

diag(v)表示对角元素由向量v中元素给定一个对角方阵。对角矩阵乘法计算高效。计算乘法diag(v)x,x中每个元素xi放大vi倍。diag(v)x=v⊙x。计算对角方阵的逆矩阵很高效。对角方阵的逆矩阵存在,当且仅当对角元素都是非零值,diag(v)⁽-1⁾=diag(1/v1,…,1/vn⫟)。根据任意矩阵导出通用机器学习算法。通过将矩阵限制为对象矩阵,得到计算代价较低(简单扼要)算法。

并非所有对角矩阵都是方阵。长方形矩阵也有可能是对角矩阵。非方阵的对象矩阵没有逆矩阵,但有高效计算乘法。长方形对角矩阵D,乘法Dx涉及x每个元素缩放。D是瘦长型矩阵,缩放后末尾添加零。D是胖宽型矩阵,缩放后去掉最后元素。

对称(symmetric)矩阵,转置和自己相等矩阵。A=A⫟。不依赖参数顺序双参数函数生成元素,对称矩阵常出现。A是矩离度量矩阵,Ai,j表示点i到点j距离,Ai,j=Aj,i。距离函数对称。

单位向量(unit vector),具有单位范数(unit norm)向量。||x||2=1。

x⫟y=0,向量x和向量y互相正交(orthogonal)。两个向量都有非零范数,两个向量间夹角90°。ℝⁿ至多有n个范数非零向量互相正交。向量不但互相正交,且范数为1,标准正交(orthonorma)。

正交矩阵(orthogonal matrix),行向量和列向量是分别标准正交方阵。 A⫟A=AA⫟=I,A⁽-1⁾=A⫟。正交矩阵求逆计算代价小。正交矩阵行向量不仅正交,还标准正交。行向量或列向量互相正交但不标准正交矩阵,没有对应专有术语。

参考资料:

《深度学习》

欢迎推荐上海机器学习工作机会,我的微信:qingxingfengzi

我有一个微信群,欢迎一起学深度学习。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏WD学习记录

机器学习 学习笔记(17) 集成学习

集成学习通过构建并结合多个学习器来完成学习任务,有时候也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committe...

912
来自专栏深度学习之tensorflow实战篇

聚类方法的区别解读:各种聚类分析呀呀呀

k 均值聚类法 快速高效,特别是大量数据时,准确性高一些,但是需要你自己指定聚类的类别数量 系统聚类法则是系统自己根据数据之间的距离来自动列出类别,所以通过系统...

2607
来自专栏人工智能LeadAI

前馈神经网络——深度学习之神经网络核心原理与算法

因上几次读者反映,公式代码有乱码和不规整的问题,小编有改善哟,这篇文章开始亲们会看到效果的哟~

1184
来自专栏机器学习原理

机器学习(6)——决策树前言:

前言: 通过第前面的学习介绍了机器学习回归模型创建的流程,并且知道了机器学习要做的事情是找到目标函数,优化它,通过每次迭代都使目标函数值最小,最优解就是目标函数...

40510
来自专栏大数据挖掘DT机器学习

特征选择常用算法

1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , ...

3168
来自专栏机器学习原理

机器学习(9)——SVM数学基础

支持向量机涉及到数学公式和定力非常多,只有掌握了这些数学公式才能更好地理解支持向量机算法。 最优化问题 最优化问题一般是指对于某一个函数而言,求解在其指定作用域...

3626
来自专栏大数据挖掘DT机器学习

隐马尔可夫模型攻略

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然...

35011
来自专栏CVer

深度学习的卷积算法指南[1] 卷积和池化简介

本文简要回顾了卷积神经网络(CNN)的主要组成部分,即离散卷积(discrete convolutions)和池化(pooling)。

1835
来自专栏红色石头的机器学习之路

Coursera吴恩达《神经网络与深度学习》课程笔记(2)-- 神经网络基础之逻辑回归

上节课我们主要对深度学习(Deep Learning)的概念做了简要的概述。我们先从房价预测的例子出发,建立了标准的神经网络(Neural Network)模型...

2420
来自专栏有趣的Python

1- 深度学习之神经网络核心原理与算法-前馈神经网络

前馈神经网络 Feedforward Neural Network 网络结构(一般分两种) Back Propagation Networks - 反向传播网络...

93311

扫码关注云+社区