定义:
向量空间(V)上的范数(norm)是如下函数: [ \begin{align} ||·||:V→R, \ x→||x|| \end{align} ] 该函数会赋予每个向量(x)自身的长度(||x||∈R),并且对于(\lambda∈R,\,\,x,y∈V)满足如下性质:
(L^p) norm 公式如右: (||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}) for (p∈R,p≥1).
这个也叫Manhattan norm。
二范式在零点附近增长很慢,而且有的机器学习应用需要在零点和非零点之间进行区分,此时二范式显得力不从心,所以我们可以选择一范式,即(L^1) norm,其表达式为:(||x||_1=\sum_i|x_i|).
这个也叫Euclidean norm。
最常用的是二范式,即(L^2) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导,二范式求导之后只与输入数据本身有关,所以比较实用。
0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的,因为它不满足第三个条件,but whatever~
无穷大范式,也叫max norm,它表示矢量中所有元素绝对值的最大值,即
[||x||_∞=max |x_i|]
F norm全称是Frobenius Norm,其表达式如下:
[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} ]
内积的一个主要目的是用来判断两个向量是否互相正交。
一种常见的内积形式是向量空间(R^n)内的点积(Dot Product/ Scalar Product),计算公式如下:
[x^Ty=\sum_{i=1}^nx_iy_i]
在对内积给出一般性的定义之前需要做一些铺垫:
看定义其实不太好懂什么是bilinear mapping,stackexchange上有人给出了简单定义,即可以简单理解为满足如下性质的映射即为双向映射:
(B(x+y,z) = B(x,z) + B(y,z))(additive in the first "coordinate"),
(B(x,y+z) = B(x,y) + B(x,z)) (additive in the second "coordinate"),
(B(cx,y) = cB(x,y) = B(x,cy))preserves scaling in each "coordinate").
再简单快捷理解的方式就是将(B)理解成实数的乘法,即:
(B(a,b)=a·b)
(B(x+y,z) = (x+y)\cdot z = x\cdot z + y\cdot z = B(x,z) + B(y,z))
(B(x,y+z) = x\cdot (y+z) = x\cdot y + x\cdot z = B(x,y) + B(x,z))
(B(cx,z) = (cx)\cdot z = c\cdot(xz) = x\cdot(cz) = B(x,cz))
这样有没有好理解很多?
假设(V)为向量空间,(\Omega:V×V→R)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么
定义:
满足如下条件的对称矩阵(A∈R^{n×n})称为对称正定矩阵或正定矩阵 [\forall{x∈V\backslash{0}}:x^TAx>0] 若上式中的>换成≥,则该矩阵为对称半正定矩阵。
例子:
正定矩阵(A)有如下性质:
我们可以通过定义内积从而定义长度(length),距离(distance),角度(angle),正交(orthogonal)等。
其实长度和距离可以是等价的,定义如下:
假设有内积空间((V,<·,·>)),那么如下表达式表示(x,y∈V)之间的距离 [d(x,y)=|x-y|=\sqrt{<x-y,x-y>}] 如果我们使用点积作为内积,那么上面定义的距离则为欧几里得距离(Euclidean distance),其中映射 [ \begin{align} d:V×V→R \notag \ (x,y)→d(x,y) \notag \end{align} ]称为metric
令(w∈0,π)表示两向量之间的角度,则有
[ \begin{align} cos\,\mathcal{w}&=\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \ (dot\,\,product)&=\frac{x^Ty}{\sqrt{x^Tx\,y^Ty}} \notag \ \Rightarrow w &= arccos\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \end{align} ]
由上面的定义可知当(<x,y>=0)时,二者正交。
前面介绍的内积都是基于有限的向量,如果扩展到有无限元素的函数,此时的内积如何定义呢?
假设有两个函数(u(x),v(x)),二者的内积为:(<u,v>=\int_a^b{u(x)v(x)dx}, \,\, a,b<∞)
当如上积分为0时,表示两个函数正交。