AI：蒸馏学习

若今世还有人值得崇拜，那一定是Jeoffery Hinton。Hinton开启了人工智能（神经网络）的时代，对他的工作我只能说’高山仰止心向往之’。现虽不能至，仍不妨通过他的作品来感受巨人智慧之光的照耀。

今天我们讲一篇Hinton的文章，’Distillating the Knowledge in a Neural Network’. 本文充分体现了Hinton对神经网络运转机制的深刻理解与敏锐的洞察力。目前神经网络的应用基本只局限于实验室和大公司。比如尽管我们对DeepMind的alphaGo倾爱有佳，但由于网络结构复杂计算量巨大，还很难把它搬到你我手机电脑上来娱乐大众。本文distillation学习就着力解决如何将cumbersome model耗巨量资源所学的知识有效转移到小的distilled models，并最终部署到手机等小型用户终端。在研究中Hinton敏锐洞察到模型所学知识的存在形式，他先让distilled model在正常温度下(softmax中T=1)学cumbersome model的常规主流知识，再让distilled model调高温度进而快速学习cumbersome model低概率错误预测所蕴含的宝贵经验。作者将该方法验证于常规MNIST project，Google Android voice search project，和经6个月多核并行训练的JFT图片识别project，均得到非常理想的效果。文中，Hinton通过幼虫成虫的类比告诉我们自然生物的Train和Test phase有着不同的架构和目标函数；他用BMW的错误识别为垃圾车或胡萝卜的例子告诉我们网络知识存在哪里、如何提取；他所提出的specialist model又效法了人脑Fusiform专业处理人脸识别的机制。林林总总给你无限智慧的启迪。读大师的作品如沐春风，期待您能听綦峰讲解，更期待有心的您能亲自拜读大师的每一个文字。