AI学习者必备 | 圣母大学公开统计计算课程讲义(视频+PPT+作业)

翻译 | AI科技大本营(rgznai100)

参与 | 刘畅

近日,圣母大学(University of Notre Dame)公开了一门统计学课程资源,包括:课程笔记和授课视频,课后作业(以及解决方案)以及课程信息和参考以及课程大纲。

这份资源非常丰富,但从营长以往推荐的文章和资源看,大家可真不待见“统计”这个词,从字面上看,它太无聊了,但它对很多机器学习的应用领域又是必不可少的,所以营长这次还是推荐给大家。

1.统计计算和概率统计简介

课程介绍:该部分包括课程,书籍和参考资料,目标,组织的介绍;概率统计学,概率法则,独立性,协方差,相关性等的基本原理; 和与乘的规则,边缘分布和条件分布; 随机变量,矩,离散和连续分布; 单变量高斯分布。

视频地址: https://youtu.be/YTBFSmExXRc 课程笔记: https://www.dropbox.com/s/121sglcweantr2d/Lec1-IntroToProbabilityAndStatistics.pdf?dl=0

2.概率统计概论简介(续)

二项式分布,伯努利分布,多项式分布,泊松分布,学生T分布,拉普拉斯分布,伽玛分布,贝塔分布,帕累托分布,多元高斯和狄利克雷分布; 联合概率分布; 随机变量的变换; 中心极限定理和基本的蒙特卡罗近似法则; 概率不等式; 信息理论综述,KL散度,熵,互信息,詹森不等式。

视频地址: https://youtu.be/yNq91ISWHiw 课程笔记: https://www.dropbox.com/s/f10vs0qrkh7428a/Lec2-IntroToProbabilityAndStatistics.pdf?dl=0

3.信息理论,多元高斯,最大似然估计,Robbins-Monro算法

信息理论,KL散度,熵,互信息,詹森不等式(续); 中心极限定理的例子,检查数据集的高斯性质; 多元高斯,马氏距离,几何解释; 单变量和多变量的高斯连续最大似然估计; 连续最大似然估计,用于连续最大似然估计的Robbins-Monro算法。

视频地址: https://youtu.be/2wrgRUQpW5E 课程笔记: https://www.dropbox.com/s/q23vr7ok2nkc2gg/Lec3-InfoTheory-CLTApplications-MLE.pdf?dl=0

4.用于连续最大似然的Robbins-Monro算法,维数灾难,条件和边缘高斯分布

高斯Robbins-Monro算法的连续最大似然估计(续); 回到多元高斯,马氏距离,几何解释,均值和矩,限制形式; 维数灾难,高维的多项式回归中的挑战,高维的球体和超立方体的体积/面积,高维的高斯分布; 条件和边缘高斯分布,配方法,伍德伯里矩阵求逆引理,内插无噪数据和数据插补的例子,高斯的信息形式。

视频地址: https://youtu.be/Ioz7H9ofSng 课程笔记: https://www.dropbox.com/s/j54clc30s2nthm5/Lec4-RobbinsMonro-CurseOfDimensionality-ConditionalGaussians.pdf?dl=0

5.似然计算,最大后验估计和正则化式的最小二乘,线性高斯模型

高斯的信息形式(续); 贝叶斯推断和似然函数计算,加法和乘法误差; 最大后验估计和正则化式的最小二乘法; 用高斯先验估计高斯的均值; 传感器融合的应用; 先验平滑和内插噪声数据。

视频地址: https://youtu.be/vxUP5QJYkoQ 课程笔记: ttps://www.dropbox.com/s/5wethziitk5wzmk/Lec5-Likelihood-MAP-GaussianLinearSystems.pdf?dl=0

6.贝叶斯统计学简介,指数族分布

参数化建模,充分性原则,可能性原则,停止规则,条件性原则,p值和频率统计问题,最大似然估计以及可能性和条件性原则; 贝叶斯背景中的推论,后验和预测分布,最大后验估计,迹,贝叶斯推理的序列性质,例子; 指数分布族,例子,计算矩,填充和Neymann因式分解,充分统计量和最大似然估计。

视频地址: https://youtu.be/3HfwQkiWSOU 课程笔记: https://www.dropbox.com/s/ggwvlumy240o6fk/Lec6-Intro2BayesianStatisticsAndTheExponentialFamily.pdf?dl=0

7.指数族分布和广义线性模型,多元高斯分布的贝叶斯推断

指数族分布,计算矩,Neymann因式分解,充分统计量和最大似然估计(续); 广义线性模型,规范响应,批处理和顺序IRLS算法; 对多元高斯分布,Wishart分布和逆Wishart分布,最大后验估计和后边缘分布的均值和方差/精度进行贝叶斯推断。

视频地址: https://youtu.be/vxUP5QJYkoQ 课程笔记: https://www.dropbox.com/s/q31dbbt01wqa071/Lec7-ExponentialFamilyGLMBayesianInf4MultivariateGaussian.pdf?dl=0

8.先验和分层模型

共轭前体(续)和局限性,共轭先验的混合; 非信息先验,最大熵先验; 迁移和尺度不变的先验; 非正常先验; 杰弗里先验; 分层贝叶斯模型和经验贝叶斯/第二类最大似然斯坦因估计。

视频地址: https://youtu.be/HVHKbH0nvbw 课程笔记: https://www.dropbox.com/s/y6m9f11sshugfnw/Lec8-PriorHierarchicalModels.pdf?dl=0

9.贝叶斯线性回归,模型比较与选择

过拟合和最大似然估计,点估计和最小二乘法,后验和预测分布,模型证据; 贝叶斯信息准则,贝叶斯因子,奥卡姆剃刀定律,贝叶斯模型的比较和选择。

视频地址: https://youtu.be/tPE6GWJByms 课程笔记: https://www.dropbox.com/s/ecp5tkeefd7h47h/Lec9-Intro2RegressionOccamsRazor.pdf?dl=0

10.贝叶斯线性回归

线性基函数模型,顺序学习,多输出,数据中心,当σ^2未知时的贝叶斯推断,Zellner的g先验,无信息的半共轭先验,贝叶斯回归相关性确定的介绍。

视频地址: https://youtu.be/ihNJVuG4Qc0 课程笔记: https://www.dropbox.com/s/zt6w0wwmg866xtx/Lec10-RegressionModelsA.pdf?dl=0

11.贝叶斯线性回归(续)

证据逼近,固定基函数的局限性,等价的内核回归方法,变量选择的吉布斯抽样,变量和模型选择。

视频地址: https://youtu.be/na_nAMe1eDk 课程笔记: https://www.dropbox.com/s/d6zruv69fmu5wmi/Lec11-RegressionModelsB.pdf?dl=0

12.贝叶斯回归与变量选择的实现

卡特回归问题; 共轭先验,条件和边缘后验,预测分布,共轭先验的影响; Zellner的G先验,边缘后验的均值和方差,可信区间; Jeffrey的非信息性先验,Zellner的非信息性G先验,指出用于选择解释性的输入变量零假设和贝叶斯因子的计算; 变量选择,模型比较,先验变量选择,最可能模型的抽样搜索,变量选择的吉布斯抽样; 实现细节。

视频地址: https://youtu.be/HPTxWF9pIF4 课程笔记: https://www.dropbox.com/s/pk2caw144nvzjcd/Lec12-CaterpillarRegressionExample.pdf?dl=0

13.蒙特卡罗方法简介,离散和连续分布抽样

中心极限定理,大数定律的回顾。π值计算,指标函数和蒙特卡罗误差估计; 蒙特卡罗估计,性质,变异系数,收敛性,蒙特卡罗和维数灾难; 蒙特卡罗高维度集成,蒙特卡罗样本的最佳数量; 蒙特卡罗估计器的样本表示; 用蒙特卡罗方法估计贝叶斯因子; 从离散分布抽样; 从连续分布反向抽样; 变换方法,Box-Muller算法,从多元高斯样本中抽样。

视频地址: https://youtu.be/Zfm3kkgODRo 课程笔记: https://www.dropbox.com/s/a8wyucgomltz8sa/Lec13-MonteCarloMethods.pdf?dl=0

14.反向采样,转换方法,合成方法,接受 - 拒绝方法,分层/系统采样

从离散分布中抽样; 对连续分布进行反向采样; 变换方法,Box-Muller算法,从多元高斯中抽样; 模拟构图,接受拒绝抽样; 带条件的蒙特卡洛;分层抽样和系统抽样。

视频地址:https://youtu.be/epebl6eStbM 课程笔记:https://www.dropbox.com/s/b18tdp81l9mx45z/Lec14-RandomVariableGeneration.pdf?dl=0

15.重要抽样

重要抽样方法,从高斯混合抽样; 最佳重要性抽样分布,归一化重要性抽样; 渐近方差/ Delta法,渐近偏差; 应用于贝叶斯推断; 高维重要性抽样,重要性抽样与拒绝抽样; 用重要性抽样求解Ax = b,计算奇异积分,其他例子。

视频地址: https://youtu.be/QkHqbmV6j3w 课程笔记: https://www.dropbox.com/s/jv0r65uxy1gty9v/Lec15-ImportanceSampling.pdf?dl=0

16.吉布斯抽样

重要性抽样回顾,重要性抽样解Ax = b,抽样重要性重采样(续); 吉布斯抽样,系统和随机扫描,块和吉布斯,在贝叶斯回归变量选择中的应用; 马尔科夫链蒙特卡洛,Metropolis-Hastings抽样,例子。

视频地址: https://youtu.be/ckoiv-6Thy4 课程笔记: https://www.dropbox.com/s/g2s1g9u9vj6779o/Lec16-GibbsSampling.pdf?dl=0

17.马尔可夫链蒙特卡罗和Metropolis-Hasting算法

马尔科夫链蒙特卡洛,沿链平均,遍历马尔可夫链; Metropolis算法,Metropolis-Hastings,例子; 随机漫步Metropolis-Hastings抽样,独立Metropolis-Hastings抽样; Metropolis自调整的Langevin算法; 过渡核的组合,模拟退火。

视频地址: https://youtu.be/6TV5tLCAPBE 课程笔记: https://www.dropbox.com/s/ek4n2cxtr8pfv7x/Lec17-MetropolisHastings.pdf?dl=0

18.状态空间模型和顺序重要性抽样介绍

状态空间模型; 例子,跟踪问题,语音增强,波动模型; 具有观察的状态空间模型,例子; 状态空间模型中的贝叶斯推理,前向滤波,前向后向滤波; 在线参数估计; 蒙特卡洛状态空间模型,最优重要性分布,顺序重要性抽样。

视频地址: https://youtu.be/619cVBbd3YY 课程笔记: https://www.dropbox.com/s/pb555x6z5i8kxd8/Lec18-Intro2StateSpaceModelsAndSequentialImportanceSampling.pdf?dl=0

19.带重采样的序列重要性抽样

顺序重要性抽样(续); 最优重要性分布,局部最优重要性分布,次优重要性分布; 例子,机器人定位,跟踪,随机波动; 重采样,有效采样大小,多项重采样,带重采样的连续采样,各种示例; Rao-Blackwellised粒子滤波器,卡尔曼滤波器的混合,切换LG-SSM,快速重击; 误差估计,退化,收敛。

视频地址: https://www.youtube.com/watch?v=O_G3XKywPCg&feature=youtu.be 课程笔记: https://www.dropbox.com/s/vl10u6yrj7yenny/Lec19-SequentialImportanceSamplingResampling.pdf?dl=0

20.带重采样的序列重要性抽样(续)

序列重要性抽样重采样的一般框架; 在两个维度上生长聚合物; 序列蒙特卡罗静态问题; 在线参数估计; 用于平滑的序列蒙特卡罗。

视频地址: https://youtu.be/iY8ojDvjajA 课程笔记: https://www.dropbox.com/s/rzlhpb4uoxu1dtk/Lec20-MoreOnSequentialMonteCarloMethods.pdf?dl=0

21.序列蒙特卡罗(续)和条件线性高斯模型

在线参数估计; 平滑序列蒙特卡罗; 卡尔曼滤波器回顾线性高斯模型;用于条件线性高斯模型的序列蒙特卡罗,Rao-Blackwellized粒子滤波器,应用; 时间序列模型; 部分观察线性高斯模型; 动态Tobit和动态Probit模型。

视频地址: https://youtu.be/Ngm-9vVHDnw 课程笔记: https://www.dropbox.com/s/z5c5vlfut4mw8ia/Lec21-ConditionalLinearGaussianModels.pdf?dl=0

22.可逆的跳转马尔可夫链蒙特卡罗

跨维的马尔可夫链蒙特卡罗,自回归的动机和高斯混合模型; 跨维移动的设计,生/死移动,拆分/合并移动,移动混合; 用于自回归的贝叶斯RJ-MCMC模型和高斯混合。

视频地址: https://youtu.be/oS6-iV0JleI 课程笔记: https://www.dropbox.com/s/i7d28g05ikfpt79/Lec22-ReversibleJumpMCMC.pdf?dl=0

23.期望最大化介绍

潜变量模型; K-Means,图像压缩; 高斯混合,后验属性和潜变量视角; 伯努利分布的混合; 期望最大化泛化,变分推理视角。

视频地址: https://youtu.be/IeHrMH98_uM 课程笔记: https://www.dropbox.com/s/2xoalhj26sh4da2/Lec23-IntroductiontoExpectationMaximization.pdf?dl=0

24.期望最大化(续)

高斯混合; 伯努利分布的混合;用于贝叶斯线性回归的期望最大化算法; 最大后验概率和期望最大化; 增量期望最大化; 使用期望最大化处理丢失的数据; 变分推理的角度。

视频地址: https://youtu.be/Ma4WVJC2GfY 课程笔记: https://www.dropbox.com/s/im3aw07lwe3eo5h/Lec24-MoreOnExpectationMaximization.pdf?dl=0

25.主成分分析

连续的潜变量模型,数据集的低维流形,生成观点,不可辨认性; 主成分分析,最大方差公式,最小误差公式,主成分分析与奇异值分解; 典型相关分析; 应用程序,离线数字图像,用主成分分析白化数据,用于可视化的主成分分析; 高维数据的主成分分析; 概率主成分分析,最大似然解,期望最大化算法,模型选择。

视频地址: https://youtu.be/_27sO2sGzkw 课程笔记: https://www.dropbox.com/s/xf20q0jagldxvnj/Lec25-Intro2PCA.pdf?dl=0

26.连续潜变量模型

概率主成分分析,最大似然解,期望最大化算法,贝叶斯主成分分析,核主成分分析。

视频地址: https://www.youtube.com/watch?v=K3QzBGoANT8 课程笔记: https://www.dropbox.com/s/xhe95z6yoic8207/Lec26-ContinuousLatentVariableModels.pdf?dl=0

27.高斯过程的核方法和导论

双重表示回归,核函数; 内核设计,结合内核,高斯内核,概率内核,Fisher内核; 径向基函数,Nadaraya-Watson模型; 高斯过程,用于回归的高斯过程与基函数方法,学习参数,自动相关性确定; 高斯过程分类,拉普拉斯近似,与贝叶斯神经网络的连接。

视频地址: https://youtu.be/XpBKhy1h-go 课程笔记: https://www.dropbox.com/s/2yonhmzn57lvv1d/Lec27-KernelMethods.pdf?dl=0

28.高斯分类问题过程,课程摘要

高斯过程分类,将高斯过程连接到贝叶斯神经网络; 课程概要 - 概率不等式,大数定律,最大似然估计和偏差,贝叶斯定理和后验探索,预测分布,边际可能性,指数族和共轭先验,经验贝叶斯和证据逼近,抽样方法,拒绝方法,重要性采样,马尔可夫链蒙特卡罗,吉布斯抽样,序列重要性抽样和粒子方法,可逆跳跃的马尔可夫链蒙特卡罗,潜变量和期望最大化,模型简化,概率主成分分析和生成模型。

视频地址: https://youtu.be/mZXBDLK8a30 课程笔记: https://www.dropbox.com/s/54pudgwif0zo8mt/Lec28-Summary.pdf?dl=0

原文地址:https://www.zabaras.com/statisticalcomputing

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-12-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

AAAI 2018 | 港中文-商汤联合论文:自监督语义分割的混合与匹配调节

43470
来自专栏机器之心

资源 | 从变分边界到进化策略,一文读懂机器学习变换技巧

339100
来自专栏人工智能LeadAI

TensorFlow从1到2 | 第一章 消失的梯度

上一主题 《TensorFlow从0到1》介绍了人工神经网络的基本概念与其TensorFlow实现,主要基于浅层网络架构,即只包含一个隐藏层的全连接(FC,Fu...

37450
来自专栏AI科技评论

深度| 解密面部特征点检测的关键技术

面部特征点定位任务即根据输入的人脸图像,自动定位出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等,如下图所示。 ? 这项技术的应用很广泛,比如...

30360
来自专栏机器学习算法与Python学习

线性分类与Principal Component Analysis

如果学习分类算法,最好从线性的入手,线性分类器最简单的就是LDA,它可以看做是简化版的SVM,如果想理解SVM这种分类器,那理解LDA就是很有必要的了。 谈到L...

415100
来自专栏程序生活

NLP面试-最大似然估计与贝叶斯估计的区别

全概率公式为概率论中的重要公式,它将对一复杂事件A的概率求解问题转化为了在不同情况下发生的简单事件的概率的求和问题。

10720
来自专栏深度学习计算机视觉

【CVPR 2018】腾讯AI lab提出深度人脸识别中的大间隔余弦损失

【论文导读】 深度卷积神经网络(DCNN)在人脸识别中已经取得了巨大的进展,通常的人脸识别的核心任务都包括人脸验证与人脸识别,涉及到特征判别。很多模型都是使用...

45850
来自专栏WD学习记录

牛客网 机器学习题目

SVM核函数:线性核函数、多项式核函数、径向基核函数、高斯核函数、幂指数核函数、拉普拉斯核函数、ANOVA核函数、二次有理核函数、多元二次核函数、逆多元二次核函...

20530
来自专栏机器学习养成记

最小二乘法来源(翻译)

Q:这个在数值算法中不成问题,LASSO回归中就用到了绝对值。而且,为什么不是计算x的4次方,或log(1+x^2)?将误差进行乘方计算有什么好处?

56730
来自专栏机器之心

CVPR 2018 | 腾讯AI Lab提出新型损失函数LMCL:可显著增强人脸识别模型的判别能力

选自arXiv 机器之心编译 参与:Panda 深度卷积神经网络 (CNN) 已经推动人脸识别实现了革命性的进展。人脸识别的核心任务包括人脸验证和人脸辨识。然而...

416100

扫码关注云+社区

领取腾讯云代金券