首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Math for ML】解析几何(Analytic Geometry)

【Math for ML】解析几何(Analytic Geometry)

作者头像
marsggbo
发布2018-12-27 15:46:42
7930
发布2018-12-27 15:46:42
举报

I. 范数(Norm)

定义:

向量空间(V)上的范数(norm)是如下函数: [ \begin{align} ||·||:V→R, \ x→||x|| \end{align} ] 该函数会赋予每个向量(x)自身的长度(||x||∈R),并且对于(\lambda∈R,\,\,x,y∈V)满足如下性质:

  • Absolutely homogeneous:(||\lambda x||=|\lambda||x|)
  • Triangle inequality:(|x+y|≤|x|+|y|) Positive definite:(|x|≥0)且(|x|=0\Leftrightarrow x=0)

(L^p) norm 公式如右: (||x||_p=(\sum_i|x_i|^p)^{\frac{1}{p}}) for (p∈R,p≥1).

1) (L^1) Norm

这个也叫Manhattan norm

二范式在零点附近增长很慢,而且有的机器学习应用需要在零点和非零点之间进行区分,此时二范式显得力不从心,所以我们可以选择一范式,即(L^1) norm,其表达式为:(||x||_1=\sum_i|x_i|).

2) (L^2) Norm

这个也叫Euclidean norm

最常用的是二范式,即(L^2) norm,也称为Euclidean norm(欧几里得范数)。因为在机器学习中常用到求导,二范式求导之后只与输入数据本身有关,所以比较实用。

3) (L^0) Norm

0范式表示矢量中非0的元素的个数。其实0范式这个说法是不严谨的,因为它不满足第三个条件,but whatever~

4) (L^∞) Norm

无穷大范式,也叫max norm,它表示矢量中所有元素绝对值的最大值,即

[||x||_∞=max |x_i|]

5) F norm

F norm全称是Frobenius Norm,其表达式如下:

[||A||_F=\sqrt{\sum_{i,j}A_{i,j}^2} ]

II. 内积(Inner Products)

内积的一个主要目的是用来判断两个向量是否互相正交。

1. 点积(Dot Product)

一种常见的内积形式是向量空间(R^n)内的点积(Dot Product/ Scalar Product),计算公式如下:

[x^Ty=\sum_{i=1}^nx_iy_i]

2. General Inner Products

在对内积给出一般性的定义之前需要做一些铺垫:

  • 双向映射(Bilinear Mapping) 维基百科上的定义:A bilinear map is a function combining elements of two vector spaces to yield an element of a third vector space, and is linear in each of its arguments.

看定义其实不太好懂什么是bilinear mapping,stackexchange上有人给出了简单定义,即可以简单理解为满足如下性质的映射即为双向映射:

(B(x+y,z) = B(x,z) + B(y,z))(additive in the first "coordinate"),

(B(x,y+z) = B(x,y) + B(x,z)) (additive in the second "coordinate"),

(B(cx,y) = cB(x,y) = B(x,cy))preserves scaling in each "coordinate").

再简单快捷理解的方式就是将(B)理解成实数的乘法,即:

(B(a,b)=a·b)

(B(x+y,z) = (x+y)\cdot z = x\cdot z + y\cdot z = B(x,z) + B(y,z))

(B(x,y+z) = x\cdot (y+z) = x\cdot y + x\cdot z = B(x,y) + B(x,z))

(B(cx,z) = (cx)\cdot z = c\cdot(xz) = x\cdot(cz) = B(x,cz))

这样有没有好理解很多?

  • 又一个定义 假设(V)为向量空间,(\Omega:V×V→R)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么
    • 若(\Omega(x,y)=\Omega(y,x)),则称(\Omega)是对称的。 若(\forall x∈V \backslash {0}:\Omega(x,x)>0,\,\,\,\Omega(0,0)=0),则称(\Omega)为正定(positive definite)
  • 内积的定义

假设(V)为向量空间,(\Omega:V×V→R)是一个bilinear mapping,它能将两个向量映射到一个实数上。那么

  • 一个正定(positive definite)且对称的bilinear mapping(\Omega:V×V→R)被称为在向量空间(V)上的内积(inner product),一般记为(<x,y>),而不是(\Omega(x,y))。
  • ((V,<·,·>))称为内积空间(inner product space)

3. 对称正定矩阵(Symmetric,Positive Definite Matrices)

定义:

满足如下条件的对称矩阵(A∈R^{n×n})称为对称正定矩阵正定矩阵 [\forall{x∈V\backslash{0}}:x^TAx>0] 若上式中的>换成≥,则该矩阵为对称半正定矩阵。

例子:

正定矩阵(A)有如下性质:

  • (A)的kernel (null space)只包含(0),因为当(x≠0)时,(x^TAx>0)。
  • (A)的对角元素(a_{ii})都是正的,因为(a_{ii}=e_i^TAe_i>0),其中(e_i)表示第(i)个标准基。

III. 内积的应用

我们可以通过定义内积从而定义长度(length),距离(distance),角度(angle),正交(orthogonal)等。

  • 长度&距离

其实长度和距离可以是等价的,定义如下:

假设有内积空间((V,<·,·>)),那么如下表达式表示(x,y∈V)之间的距离 [d(x,y)=|x-y|=\sqrt{<x-y,x-y>}] 如果我们使用点积作为内积,那么上面定义的距离则为欧几里得距离(Euclidean distance),其中映射 [ \begin{align} d:V×V→R \notag \ (x,y)→d(x,y) \notag \end{align} ]称为metric

  • 角度&正交

令(w∈0,π)表示两向量之间的角度,则有

[ \begin{align} cos\,\mathcal{w}&=\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \ (dot\,\,product)&=\frac{x^Ty}{\sqrt{x^Tx\,y^Ty}} \notag \ \Rightarrow w &= arccos\frac{<x,y>}{\sqrt{<x,x><y,y>}} \notag \end{align} ]

由上面的定义可知当(<x,y>=0)时,二者正交。

IV. 函数的内积(Inner Product of Functions)

前面介绍的内积都是基于有限的向量,如果扩展到有无限元素的函数,此时的内积如何定义呢?

假设有两个函数(u(x),v(x)),二者的内积为:(<u,v>=\int_a^b{u(x)v(x)dx}, \,\, a,b<∞)

当如上积分为0时,表示两个函数正交。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-12-17 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • I. 范数(Norm)
    • 1) (L^1) Norm
      • 2) (L^2) Norm
        • 3) (L^0) Norm
          • 4) (L^∞) Norm
            • 5) F norm
            • II. 内积(Inner Products)
              • 1. 点积(Dot Product)
                • 2. General Inner Products
                  • 3. 对称正定矩阵(Symmetric,Positive Definite Matrices)
                  • III. 内积的应用
                  • IV. 函数的内积(Inner Product of Functions)
                  领券
                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档