初识机器学习
也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。
套用一下大神们对机器学习的定义,机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单一点说,就是计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。近年来互联网数据大爆炸,数据的丰富度和覆盖面远远超出人工可以观察和总结的范畴,而机器学习的算法能指引计算机在海量数据中,挖掘出有用的价值,也使得无数学习者为之着迷。
机器学习关注的问题
从功能的角度分类,机器学习在一定量级的数据上,可以解决下列问题:
分类问题
根据数据样本上抽取出的特征,判定其属于有限个类别中的哪一个。比如:
垃圾邮件识别(垃圾邮件/正常邮件);
文本情感褒贬分析(褒/贬);
图像内容识别识别(喵星人/汪星人/人类/草泥马/都不是)
回归问题
根据数据样本上抽取出的特征,预测一个连续值的结果。比如:
星爷《美人鱼》票房;
大帝都2个月后的房价;
隔壁熊孩子一天来你家几次,宠幸你多少玩具
聚类问题
根据数据样本上抽取出的特征,让样本抱抱团(相近/相关的样本在一团内)。比如:
google的新闻分类;
用户群体划分;
我们再把上述常见问题划到机器学习最典型的2个分类上。
分类与回归问题需要用已知结果的数据做训练,属于“监督学习”;
聚类的问题不需要已知标签,属于“非监督学习”。
如果在IT行业(尤其是互联网)里溜达一圈,你会发现机器学习在以下热点问题中有广泛应用:
典型的应用包括:人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。
典型的应用包括:搜索引擎智能匹配、文本内容理解、文本情绪判断,语音识别、输入法、机器翻译等等。
典型的应用包括:用户画像、网络关联分析、欺诈作弊发现、热点发现等等。
典型的应用包括:虾米音乐的“歌曲推荐”,某宝的“猜你喜欢”等等。
入门方法与学习路径
OK,不废话,直接切重点丢干货了。看似学习难度大,曲线陡的机器学习,对大多数入门者也有一个比较通用的学习路径,也有一些优秀的入门资料可以降低大家的学习门槛,同时激发我们的学习乐趣。
1
数学基础
机器学习之所以相对于其他开发工作,更有门槛的根本原因就是数学。每一个算法,要在训练集上最大程度拟合同时又保证泛化能力,需要不断分析结果和数据,调优参数,这需要我们对数据分布和模型底层的数学原理有一定的理解。
微分的计算及其几何、物理含义,是机器学习中大多数算法的求解过程的核心。比如算法中运用到梯度下降法、牛顿法等。如果对其几何意义有充分的理解,就能理解“梯度下降是用平面来逼近局部,牛顿法是用曲面逼近局部”,能够更好地理解运用这样的方法。凸优化和条件最优化 的相关知识在算法中的应用随处可见,如果能有系统的学习将使得你对算法的认识达到一个新高度。
大多数机器学习的算法要应用起来,依赖于高效的计算,这种场景下,程序员GG们习惯的多层for循环通常就行不通了,而大多数的循环操作可转化成矩阵之间的乘法运算,这就和线性代数有莫大的关系了;向量的内积运算更是随处可见;矩阵乘法与分解在机器学习的主成分分析(PCA)和奇异值分解(SVD) 等部分呈现刷屏状地出现。
从广义来说,机器学习在做的很多事情,和统计层面数据分析和发掘隐藏的模式,是非常类似的。
极大似然思想、贝叶斯模型 是理论基础,朴素贝叶斯(Naive Bayes )、语言模型(N-gram)、隐马尔科夫(HMM)、隐变量混合概率模型是他们的高级形态。
常见分布如高斯分布是混合高斯模型(GMM)等的基础。
2
典型算法
绝大多数问题用典型机器学习的算法都能解决,粗略地列举一下这些方法如下:
我们多插一句,机器学习里所说的“算法”与程序员所说的“数据结构与算法分析”里的“算法”略有区别。前者更关注结果数据的召回率、精确度、准确性等方面,后者更关注执行过程的时间复杂度、空间复杂度等方面。当然,实际机器学习问题中,对效率和资源占用的考量是不可或缺的。
3
编程语言、工具和环境
对初学者而言,Python和R语言是很好的入门语言,很容易上手,同时又活跃的社区支持,丰富的工具包帮助我们完成想法。相对而言,似乎计算机相关的同学用Python多一些,而数学统计出身的同学更喜欢R一些。
python
python有着全品类的数据科学工具,从数据获取、数据清洗到整合各种算法都做得非常全面。
pandas:模拟R,进行数据浏览与预处理;
numpy:数组运算;
scipy:高效的科学计算;
matplotlib:非常方便的数据可视化工具。
scikit-learn:远近闻名的机器学习package。未必是最高效的,但是接口真心封装得好,几乎所有的机器学习算法输入输出部分格式都一致。而它的支持文档甚至可以直接当做教程来学习,非常用心。对于不是非常高纬度、高量级的数据,scikit-learn胜任得非常好(有兴趣可以看看sklearn的源码,也很有意思)。
libsvm:高效率的svm模型实现(了解一下很有好处,libsvm的系数数据输入格式,在各处都非常常见);
keras/TensorFlow:对深度学习感兴趣的同学,也能很方便地搭建自己的神经网络了;
nltk:自然语言处理的相关功能做得非常全面,有典型语料库,而且上手也非常容 易。
ipython notebook:能直接打通数据到结果的通道,方便至极,强力推荐。
R
R最大的优势是开源社区,聚集了非常多功能强大可直接使用的包,绝大多数的机器学习算法在R中都有完善的包可直接使用,同时文档也非常齐全。常见的package包括:RGtk2, pmml, colorspace, ada, amap, arules, biclust, cba, descr, doBy, e1071, ellipse等等。另外,值得一提的是R的可视化效果做得非常不错,而这对于机器学习是非常有帮助的。
大数据相关
操作系统
4
基本工作流程
以上我们基本具备了机器学习的必要条件,剩下的就是怎么运用它们去做一个完整的机器学习项目。其工作流程如下:
抽象成数学问题
获取数据
特征预处理与特征选择
训练模型与调优
模型诊断
如何确定模型调优的方向与思路呢?这就需要对模型进行诊断的技术。
模型融合
上线运行
这些工作流程主要是工程实践上总结出的一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明,只有大家自己多实践,多积累项目经验,才会有自己更深刻的认识。
5
关于积累项目经验
初学机器学习可能有一个误区,就是一上来就陷入到对各种高大上算法的追逐当中。『脱离业务和数据的算法讨论是毫无意义的』。