专栏首页新智元悉尼科大徐亦达教授:1000+页机器学习讲义,32 份主题推介

悉尼科大徐亦达教授:1000+页机器学习讲义,32 份主题推介


新智元推荐

来源:专知(ID:Quan_Zhuanzhi)

【新智元导读】悉尼科大徐亦达教授机器学习讲义,总共涵盖 32 个主题,1000+页讲义,包括Softmax算法、传统GAN,W-GAN数学,贝叶斯GAN, 蒙托卡罗树搜索,alphaGo学习算法等。

悉尼科大徐亦达教授近日在GitHub更新了他2019年以来的机器学习新材料,超过1000页的讲义,总共涵盖 32 个主题。

具体而言,主题涉及 Softmax 的属性,估计 softmax 时不需计算分母,概率重新参数化,Gumbel-Max 技巧和 REBAR 算法 传统 GAN,W-GAN 数学,对偶性和 KKT 条件,Info-GAN,贝叶斯 GAN, 蒙托卡罗树搜索,alphaGo 学习算法,政策梯度定理,RL 中可信区域优化的数学,TRPO 自然梯度,近似策略优化 (PPO), 共轭梯度算法等。

地址:

https://github.com/roboticcam/machine-learning-notes

  • DeeCamp 2019:Story of Softmax

properties of Softmax, Estimating softmax without compute denominator, Probability re-parameterization: Gumbel-Max trick and REBAR algorithm (softmax 的故事) Softmax 的属性,估计 softmax 时不需计算分母,概率重新参数化,Gumbel-Max 技巧和 REBAR 算法

  • DeeCamp 2018:When Probabilities meet Neural Networks

Expectation-Maximization & Matrix Capsule Networks; Determinantal Point Process & Neural Networks compression; Kalman Filter & LSTM; Model estimation & Binary classifier (当概率遇到神经网络) 主题包括:EM 算法和矩阵胶囊网络;行列式点过程和神经网络压缩;卡尔曼滤波器和 LSTM; 模型估计和二分类问题关系

  • Video Tutorial to these notes 视频资料

I recorded about 20% of these notes in videos in 2015 in Mandarin (all my notes and writings are in English) You may find them on Youtube and bilibili and Youku

我在 2015 年用中文录制了这些课件中约 20%的内容 (我目前的课件都是英文的) 大家可以在 Youtube 哔哩哔哩 and 优酷 下载

Data Science 数据科学课件

  • 30 minutes introduction to AI and Machine Learning

An extremely gentle 30 minutes introduction to AI and Machine Learning. Thanks to my PhD student Haodong Chang for assist editing

30 分钟介绍人工智能和机器学习,感谢我的学生常浩东进行协助编辑

  • Regression methods

Classification: Logistic and Softmax; Regression: Linear, polynomial; Mix Effect model [costFunction.m] and [soft_max.m]

分类介绍: Logistic 回归和 Softmax 分类;回归介绍:线性回归,多项式回归;混合效果模型 [costFunction.m] 和 [soft_max.m]

  • Recommendation system

collaborative filtering, Factorization Machines, Non-Negative Matrix factorisation, Multiplicative Update Rule

推荐系统:协同过滤,分解机,非负矩阵分解,和其中 “乘法更新规则” 的介绍

  • Dimension Reduction

classic PCA and t-SNE

经典的 PCA 降维法和 t-SNE 降维法

  • Introduction to Data Analytics and associate Jupyter notebook

Supervised vs Unsupervised Learning, Classification accuracy

数据分析简介和相关的 jupyter notebook,包括监督与无监督学习,分类准确性

Deep Learning 深度学习课件

  • Optimisation methods

Optimisation methods in general. not limited to just Deep Learning

常用的优化方法。不仅限于深度学习

  • Neural Networks

basic neural networks and multilayer perceptron

神经网络:基本神经网络和多层感知器

  • Convolution Neural Networks: from basic to recent Research

detailed explanation of CNN, various Loss function, Centre Loss, contrastive Loss, Residual Networks, Capsule Networks, YOLO, SSD

卷积神经网络:从基础到最近的研究:包括卷积神经网络的详细解释,各种损失函数,中心损失函数,对比损失函数,残差网络,胶囊网络,YOLO,SSD

  • Word Embeddings

Word2Vec, skip-gram, GloVe, Fasttext

系统的介绍了自然语言处理中的 “词表示” 中的技巧

  • Deep Natural Language Processing

RNN, LSTM, Seq2Seq with Attenion, Beam search, Attention is all you need, Convolution Seq2Seq, Pointer Networks

深度自然语言处理:递归神经网络,LSTM, 具有注意力机制的 Seq2Seq,集束搜索,指针网络和 "Attention is all you need", 卷积 Seq2Seq

  • Mathematics for Generative Adversarial Networks

How GAN works, Traditional GAN, Mathematics on W-GAN, Duality and KKT conditions, Info-GAN, Bayesian GAN

GAN 如何工作,传统 GAN,W-GAN 数学,对偶性和 KKT 条件,Info-GAN,贝叶斯 GAN

  • Restricted Boltzmann Machine

basic knowledge in Restricted Boltzmann Machine (RBM)

受限玻尔兹曼机 (RBM) 中的基础知识

Reinforcement Learning 强化学习

  • Reinforcement Learning Basics

basic knowledge in reinforcement learning, Markov Decision Process, Bellman Equation and move onto Deep Q-Learning

深度增强学习:强化学习的基础知识,马尔可夫决策过程,贝尔曼方程,深度 Q 学习

  • Monto Carlo Tree Search

Monto Carlo Tree Search, alphaGo learning algorithm

蒙托卡罗树搜索,alphaGo 学习算法

  • Policy Gradient

Policy Gradient Theorem, Mathematics on Trusted Region Optimization in RL, Natural Gradients on TRPO, Proximal Policy Optimization (PPO), Conjugate Gradient Algorithm

政策梯度定理,RL 中可信区域优化的数学,TRPO 自然梯度,近似策略优化 (PPO), 共轭梯度算法

Probability and Statistics Background 概率论与数理统计基础课件

  • Bayesian model

revision on Bayes model include Bayesian predictive model, conditional expectation

复习贝叶斯模型,包括贝叶斯预测模型,条件期望等基础知识

  • Probabilistic Estimation

some useful distributions, conjugacy, MLE, MAP, Exponential family and natural parameters

一些常用的分布,共轭特性,最大似然估计,最大后验估计,指数族和自然参数

  • Statistics Properties

useful statistical properties to help us prove things, include Chebyshev and Markov inequality

一些非常有用的统计属性可以帮助我们在机器学习中的证明,包括切比雪夫和马尔科夫不等式

Probabilistic Model 概率模型课件

  • Expectation Maximisation

Proof of convergence for E-M, examples of E-M through Gaussian Mixture Model, [gmm_demo.m] and [kmeans_demo.m]and [Youku]

最大期望 E-M 的收敛证明,E-M 到高斯混合模型的例子, [gmm_demo.m] 和 [kmeans_demo.m] 和 [优酷链接]

  • State Space Model (Dynamic model)

explain in detail of Kalman Filter [Youku], [kalman_demo.m] and Hidden Markov Model [Youku]

状态空间模型 (动态模型) 详细解释了卡尔曼滤波器 [优酷链接], [kalman_demo.m] 和隐马尔可夫模型 [优酷链接]

Inference 推断课件

  • Variational Inference

explain Variational Bayes both the non-exponential and exponential family distribution plus stochastic variational inference. [vb_normal_gamma.m] and [优酷链接]

变分推导的介绍:解释变分贝叶斯非指数和指数族分布加上随机变分推断。[vb_normal_gamma.m] 和 [优酷链接]

  • Stochastic Matrices

stochastic matrix, Power Method Convergence Theorem, detailed balance and PageRank algorithm

随机矩阵,幂方法收敛定理,详细平衡和谷歌 PageRank 算法

  • Introduction to Monte Carlo

inverse CDF, rejection, adaptive rejection, importance sampling [adaptive_rejection_sampling.m] and [hybrid_gmm.m]

累积分布函数逆采样,拒绝式采样,自适应拒绝式采样,重要性采样 [adaptive_rejection_sampling.m] 和 [hybrid_gmm.m]

  • Markov Chain Monte Carlo

M-H, Gibbs, Slice Sampling, Elliptical Slice sampling, Swendesen-Wang, demonstrate collapsed Gibbs using LDA [lda_gibbs_example.m] and [test_autocorrelation.m] and [gibbs.m] and [Youku]

马尔可夫链蒙特卡洛的各种方法 [lda_gibbs_example.m] 和 [test_autocorrelation.m] 和 [gibbs.m] 和 [优酷链接]

  • Particle Filter (Sequential Monte-Carlo)

Sequential Monte-Carlo, Condensational Filter algorithm, Auxiliary Particle Filter [Youku]

粒子滤波器(序列蒙特卡洛)[优酷链接]

Advanced Probabilistic Model 高级概率模型课件

  • Bayesian Non Parametrics (BNP) and its inference basics

Dircihlet Process (DP), Chinese Restaurant Process insights, Slice sampling for DP [dirichlet_process.m] and [优酷链接] and [Jupyter Notebook]

非参贝叶斯及其推导基础:狄利克雷过程,中国餐馆过程,狄利克雷过程 Slice 采样 [dirichlet_process.m] 和 [优酷链接] 和 [Jupyter Notebook]

  • Bayesian Non Parametrics (BNP) extensions

Hierarchical DP, HDP-HMM, Indian Buffet Process (IBP)

非参贝叶斯扩展:层次狄利克雷过程,分层狄利克雷过程 - 隐马尔可夫模型,印度自助餐过程 (IBP)

  • Determinantal Point Process

explain the details of DPP’s marginal distribution, L-ensemble, its sampling strategy, our work in time-varying DPP

行列式点过程解释:行列式点过程的边缘分布,L-ensemble,其抽样策略,我们在 “时变行列式点过程” 中的工作细节.

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • NeurIPS图表示学习研讨会录取论文揭晓:92篇论文看懂图表示学习

    10 月 18 日,2019 中关村论坛平行论坛 ——AI WORLD 2019 世界人工智能峰会在北京启幕。新智元杨静、科大讯飞胡郁、微软王永东、华为王成录、...

    新智元
  • 中国团队夺得MegaFace百万人脸识别冠军,精度98%再创记录,论文代码+数据全开源

    MegaFace数据集 网络结构 首先,我们尝试在人脸识别的任务上找到一个优秀的网络结构。 3.1 网络输入设定 在我们所有的实验当中,都根据人脸的 5 个...

    新智元
  • 【直观梳理深度学习关键概念】优化算法、调参基本思路、正则化方式等

    作者:张皓 【新智元导读】深度学习论文众多,而理解的前提是对基础概念的掌握。本文旨在直观系统地梳理深度学习各领域常见概念与基本思想,使读者对深度学习的重要概念...

    新智元
  • 促进包容性获取丰富在线内容和服务的策略研究

    中文摘要:在线访问内容和服务对每个人,包括残疾人,都越来越重要。包括《美国残疾人法》在内的各国承诺,以及包括《联合国残疾人权利宣言》在内的国际决议,都要求努力确...

    用户7454122
  • 使用移动环境传感器的智能手机健康评估(CS CY)

    心理健康和整体健康是社会日益关注的问题。环境因素会导致精神疾病,并有能力影响一个人的健康。这项研究提出了一个基于智能手机的健康评估系统,并检查了个人环境和健康是...

    用户7495559
  • 用于NLP的Python:使用Keras进行深度学习文本生成

    文本生成是NLP的最新应用程序之一。深度学习技术已用于各种文本生成任务,例如写作诗歌,生成电影脚本甚至创作音乐。但是,在本文中,我们将看到一个非常简单的文本生成...

    拓端
  • IJPR特刊邀稿| 主题:生产和配送管理中的大数据分析

    The International Journal of Production Research (IJPR), published since 1961, i...

    用户1621951
  • ACL 2018 计算语言学协会接受论文列表

    WZEARW
  • 乳腺癌预后基因集

    In addition to cell of origin and somatic mutation events, studies over the past...

    生信技能树
  • 机器学习研究和开发所需的组件列表

    Here is a list of components that are needed for the successful machine learning...

    iOSDevLog

扫码关注云+社区

领取腾讯云代金券