永远的金大侠-人工智能的江湖

金庸先生已离我们远去，笔者当天在朋友圈看到这一消息时心情非常沉痛。作为在小学时就开始读金庸小说的80后，先生给我们的，不仅仅是一个个鲜活的人物，跌宕起伏的故事情节，正义与侠义，而是一个时代的印记。总想着为先生写点什么，奈何文笔不佳，就从自己的专业出发，将AI各种学派与金大侠笔下的人物作一类比，与各位讨论品评，算是对先生的一点点缅怀与哀思。

有人的地方就有江湖，有江湖的地方就有派系。人工智能领域（其实更准确的说是机器学习）也不例外，各种学派、思想、方法各成一家，自有其独门绝技与真传，又相互之间有千丝万缕之联系。各大门派纷纷登场，展示其武艺与江湖声威，共议人工智能大计。

丐帮-神经网络

金庸笔下的丐帮势力庞大，弟子众多，遍布全国各地，神经网络的江湖地位与其最为符合，自成一家，虽称不上高大上（缺乏扎实的数学理论基础），但却非常实用，各种改进算法层出不穷。

少林派内力深厚（数学功底扎实），背靠博大精深的佛学。坐镇的领头人物Vapnik可谓武林中的顶尖高手。其核心人物将易筋经（核技术，kernel trick）用的出神入化，化非线性为线性，分类、回归问题不在话下，一度执机器学习之牛耳。更有大力金刚指（拉格朗日对偶），少林龙爪手（凸优化），金刚伏魔圈（SMO算法）加持，威震武林数十载。然其所需内力深厚，要掌握精髓实属不易。

武当-概率图模型

概率图模型如同金庸笔下的武当，以概率论（道教）的坚实理论作为支撑，在机器学习的江湖中自成一家，有相当的独立性。其奠基人Judea Pearl曾问鼎图灵大奖，乃武学之至尊荣誉。概率图模型招式优美，贝叶斯网络（太极拳法），隐马尔可夫模型（九阳神功），条件随机场（太极剑法）都是该派的绝学。然而因为其招式精妙（要求较高的概率论、随机过程等知识），一直以来令众多习武之人望而生畏。

峨眉派-集成学习

集成学习是机器学习中一种特殊的存在，自有其深厚而朴实的武功哲学，能化腐朽为神奇，变弱学习为强学习，虽不及武当和少林那样内力与功底深厚。其门下两个主要分支-bagging和boosting，各有成就，前者有随机森林支撑门面，后者有AdaBoost，GBDT，XGBoost一脉传承。门下弟子近年来在Kaggle大赛中获奖无数，体现了实用主义的风格，为众多习武之人所喜爱，趋之若鹜。

大理段氏-强化学习

武当-概率图模型

概率图模型如同金庸笔下的武当，以概率论（道教）的坚实理论作为支撑，在机器学习的江湖中自成一家，有相当的独立性。其奠基人Judea Pearl曾问鼎图灵大奖，乃武学之至尊荣誉。概率图模型招式优美，贝叶斯网络（太极拳法），隐马尔可夫模型（九阳神功），条件随机场（太极剑法）都是该派的绝学。然而因为其招式精妙（要求较高的概率论、随机过程等知识），一直以来令众多习武之人望而生畏。

峨眉派-集成学习

集成学习是机器学习中一种特殊的存在，自有其深厚而朴实的武功哲学，能化腐朽为神奇，变弱学习为强学习，虽不及武当和少林那样内力与功底深厚。其门下两个主要分支-bagging和boosting，各有成就，前者有随机森林支撑门面，后者有AdaBoost，GBDT，XGBoost一脉传承。门下弟子近年来在Kaggle大赛中获奖无数，体现了实用主义的风格，为众多习武之人所喜爱，趋之若鹜。

大理段氏-强化学习

强化学习是武林中的一个特殊存在。其代表性人物Richard S. Sutton也是机器学习领域的领军人物。长期以来，强化学习一直是机器学习武林中的闲云野鹤，不太过问世事，虽然有一阳指-时序差分算法（如Q学习）在手，但从不显山露水。2013年，其门下弟子创立的DeepMind公司，将本派武功与丐帮的卷积网络大法相融合，创造出了一种玄幻的招式-DQN（深度Q网络），开深度强化学习之先河，只通过观察游戏画面，就可以打Atari游戏，并且比人类玩家还强，令江湖人士惊奇。2016年，旗下的AlphaGO更是在围棋领域战胜了高丽国绝世高手李世石，一时轰动四海，江湖中人无不为之惊叹。媒体的加持，全民的关注令人工智能再次走上风口浪尖，加之各路风投倾囊相助，有识之士纷纷设立武学馆，可谓红火。

姑苏慕容氏-深度生成模型

LeCun说过，GAN是“生成对抗性网络是近十年来最有趣的想法”。 其代表性人物Goodfellow是该领域的领军人物。生成网络从潜在空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本，就如同姑苏慕容氏的家传绝学以彼之道还施彼身，在了解对方（判别模型）精要的基础上，使出斗转星移的功夫（去学习判别模型刻画的数据分布），将对方的招式反击到他自己身上，看起来好像是使出了跟对方一样的武功将对方打倒（让判别模型难断真假）。慕容氏其世代传承的“以彼之道，还施彼身”的武功绝技，威震江湖。现任庄主Goodfellow年少有为，学武有成，在江湖上闯出一番名头，当下追随者众多，一时无二，CVPR 2018的论文题目中含有关键词GAN的文章占比超过8%，相比2017年增长了2倍多。

华山派-树模型

华山派在江湖中也是显赫的存在，其代表人物风清扬（Breiman）将本门绝技独孤九剑（CART，分类与回归树）练得出神入化。就连互联网中的教父级人物马云也乐用其名。除独孤九剑之外，冲灵剑法（ID3）和冲灵剑法（C4.5）虽在如今的江湖已不是主流，但也有其特殊的历史地位。

昆仑派-流形学习

昆仑派在2000年之后着实风光了几年，其野心勃勃，当年有抗衡武当和少林之势。自2000年LLE（局部线性嵌入）登上Science杂志，到几年之后t-SNE谢幕，其来势也快，去得也快，如流星划过机器学习的天空。虽没有成大气候，但招式堪称优美，其思想是给后世留下的一笔宝贵财富，对高维空间的探索是习武之人孜孜不倦的追求。

大闹一场,悄然离去