专栏首页AI2ML人工智能to机器学习GMM的世界,你不懂?(下篇)

GMM的世界,你不懂?(下篇)

GMM的世界,你不懂?(上篇) 里面简介了GMM的诞生的思绪历程, 当然是猜的啦。 这里稍微扩展点点, 说明下下GMM的广和美。

GMM的广

前面(GMM的世界,你不懂?(上篇)最大似然估计的2种论证 ),已经说明了如何把最小二乘法OLS,工具变量IV,最大似然估计MLE,如何囊括在MME

的旗下, 而GMM中的第一阶段就是MME, 这样基本就靠MME大统一了OLS,MLE, MME。 当然这个统一,需要工具变量的思想的融入的。

这里稍微回顾下下:

最小二乘法OLS

直接通过假设 E(X,e) = 0 出发, 代入矩估计的样本矩,就得到了OLS。

最大似然估计 MLE

通过替换函数设定为参数的导函数, 然后证明矩估计为零, 再根据导数为零就是求极值的思路,得到最大似然估计的目标公式。

工具变量IV

和最小二乘法类似, 只是需要找到工具变量和自变量相关,而和误差无关。 然后就很容易根据矩估计得到工具变量的表达式。

加权最小二乘法WLS

从普通最小二乘法OLS到WLS,一般只要进行一个标准化的替换就可以, 这里也是这样的。

我们也可以看看GMM的简单处理:

另外, 对于异方差情况下OLS的WLS的简单对比:

2阶段最小二乘法 2SLS

对于2SLS来说, 那么矩估计的形式和IV的矩估计的形式一致, 但是对于GMM第二步里面的权重的设立就不一样了。 这也是, 我们前面说GMM某种意义上是泛化的IV。

GMM的美

GMM在兼容这么多模型的同时, 还自带特别好的性质, 首先是一致性, 其次具有渐近正态性, 最后如果选择合适的权重矩阵, 还能得到有效的估计。 一般情况下, 权重的选择和估计的向量值函数的方差有关, 和加权最小二乘法非常相似。

这其中, 因为满足渐近正态性, 使得各种常用假设检验的手段也能够被应用,譬如卡方检验, 学生检验等等。

另外就是, 由于引入了向量值函数的思想, 对非线性的情况也进行了很好的兼容。 譬如, 非线性最小二乘法NLS, 也可以使用GMM来进行表示。

这样大概概述了下下, GMM美好的特性。

小结:

这里简单概述了下GMM的广泛兼容性和性质,不愧广美美和诺贝尔奖级别的发明。 但是任何手段不是十全十美的, 譬如GMM不自带向量值函数的自动推荐; 站在3SLS的基础上, 对于复杂的时间序列也没有很好的处理; 也不自带Bootstrap这种泛化增强的手段。 但是,GMM毕竟是快30年前的发明了。

关键词:

NLS

Asypototically Normal

Bootstrap

本文分享自微信公众号 - AI2ML人工智能to机器学习(mloptimization),作者:史春奇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hinton是如何理解PCA?

    “深度学习名校课程大全” 里面给出了很多深度学习的课程, 但是说到书的话, 还是推荐 Ian Goodfellow的 “Deep Learning”, 张志华老...

    史博
  • 易图秒懂の深度学习诞生 问题篇

    认知科学改写了一帮搞物理的人在做神经网络的局面(参考 ”易图秒懂の连接主义诞生“), 从此以心理学大师Estes的学生,Rumelhart为代表的连接主义的早...

    史博
  • 评价参数估算的常用指标

    前面“ 回归分析中的问题和修正的探讨(下篇)”,讲到了无偏性和有效性, 这里把评价参数估计的常用指标简述下下。

    史博
  • 如何使用Python的filter函数

    Python内置的filter()函数能够从可迭代对象(如字典、列表)中筛选某些元素,并生成一个新的迭代器。可迭代对象是一个可以被“遍历”的Python对象,也...

    老齐
  • Skywalking系列博客2-Skywalking使用

    Skywalking有多种使用方式,目前最流行(也是最强大)的使用方式是基于Java agent的。

    用户1516716
  • 腾讯应用研究一面 武汉

    腾讯应用研究武汉现场一面 一共20分钟。 (比我内推的三轮面试都缺少一点技术含量,内推面试会问我项目,跟我有交流或者提建议,这次就感觉随便找点东西问问,然后最后...

    牛客网
  • 69-匿名函数和filter

    凯茜的老爸
  • iOS地图开发3-原生封装的调用(swift)

    剑行者
  • vue单元测试-Jest

    顾翔老师开发的bugreport2script开源了,希望大家多提建议。文件在https://github.com/xianggu625/bug2testscr...

    小老鼠
  • Python 错误处理

    当我们认为某些代码可能会出错时,就可以用try来运行这段代码,如果执行出错,则后续代码不会继续执行,而是直接跳转至错误处理代码,即except语句块,执行完ex...

    py3study

扫码关注云+社区

领取腾讯云代金券