机器学习数学笔记|微积分梯度 jensen 不等式

原创文章,如需转载请保留出处

索引

• 微积分,梯度和 Jensen 不等式
• Taylor 展开及其应用
• 常见概率分布和推导
• 指数族分布
• 共轭分布
• 统计量
• 矩估计和最大似然估计
• 区间估计
• Jacobi 矩阵
• 矩阵乘法
• 矩阵分解 RQ 和 SVD
• 对称矩阵
• 凸优化

微积分与梯度

• 常数 e 的计算过程
• 常见函数的导数
• 分部积分法及其应用
• 梯度
  • 上升/下降最快方向
• 凸函数
  • Jensen 不等式

自然常数 e

引入

• 我们知道对于公式

,x=1 时,y=0.则我们是否能找一点 a 值,使得 y 函数在(1,0)点的导数为 1 呢?

利用导数公式对

求导

定理一:极限存在定理

• 单调有界函数必有极限
• 单调数列有上线,必有其极限

构造数列 Xn 证明其单调有上界

• 又因为其有(1+1)项,则其必比 2 要大然而又比 3 要小

定理二:两边夹定理

自然常数 e 的推导

微分与积分

常用函数的导数公式

分部积分法

方向导数与梯度

对于方向导数我们也可以视为

• 方向导数顾名思义既是复合函数在某一方向上的导数，表示函数在某一方向上的变化趋势。当在某一方向上的方向导数最大时，即是梯度
• 当

时,这是方向导数取最大值,即是梯度

对于梯度我们有

• 方向导数是各个方向上的导数
• 偏导数连续才有梯度存在
• 梯度的方向是方向导数中取到最大值的方向，梯度的值是方向导数的最大值

凸函数与 Jsnsen 不等式

• 简而言之,即是函数的割线永远位于函数图像的上方.

一阶可微

• 简而言之,即是函数如果是一个凸函数,且一阶可微,则过函数任意一点做函数的切线,函数的切线永远在函数的下方.

二阶可微

凸函数举例

Jensen 不等式

• Jensen 不等式相当于把凸函数的概念反过来说,即是如果 f 是一个凸函数,任意取一个在 f 定义域上的(x,y)点,

属于[0,1].

• 当只有 x,y 两个参数,即是使用 基本 Jensen 不等式 ,然而当推广到 k 个参数时, 即是表示参数的线性加权的函数值总要小于函数值的线性加权.
• 可以将其推广到概率密度分布上,假设

表示是事件的概率密度 K 点分布即所加和为 1,则函数值的期望大于期望的函数值

PS:这都是在 f 是凸函数的状况下!

• Jensen 不等式是所有不等式的基础,所有不等式都能看做是 Jensen 不等式利用不同的凸函数推导出来的.

参考资料

[1]

课程传送门: http://www.julyedu.com/video/play/38