AI说人“画” | 什么?咱俩说的是一个“模型”嘛!

大数据文摘力荐!原创小视频【AI说人“画”】系列。用轻松的手绘方式,讲清楚一些有趣的AI概念。

我们有号称所有聪明人中最酷的那个小姐姐!用灵魂手绘和欢脱语言,来和你聊聊最枯燥的理论!请收看5分钟中文小视频节目▼

视频内容

Hello大家好,我是Vicky,今天我们来讲一些关于“模型“的事儿。

模型是对事物的抽象,是发现规律模拟真实世界用的。

在数据里呢,基本上模型有两类,解释性和预测性,今天来着重来说预测性的。

所以怎么评价模型的好坏呢? 当然就是预测的多准了

机器学习模型呢,就是看学习能力如何,也就是看举一反三的能力。

一般常用的机器学习模型包括:分类,回归和聚类

今天就以分类模型为例,谈谈怎么评价一个“模型”好不好。

检验一个机器学习模型时要做的第一件事就是看误差有多大,

这里的误差有偏差和方差两类:

高偏差的意思就是你从一开始就跑偏了,没学习到真正的规律,也叫欠拟合。

比如这张图,把眼罩当成bra,买家确实没有把“肩带”当作特征,“形状”也确实有点类似,不过她居然忽略了size!(惊)

高方差的意思就是你入戏太深了,虽然你的模型完美的解释了现有的数据,换一组新的就不行了。这也就是过拟合,量身定做过了头儿,好比你查视力的时候,把视力表背下来了,然后查视力的结果左右眼都是5.3,完美!

然而实际情况是,换一张顺序不一样的视力表,你连医生指的第几行都看不见,甚至你连医生都看不见。这就是没什么泛化能力,模型过于复杂,训练过度了。

那怎样才能知道自己的模型是否存在高偏差或是高方差呢?

一种直接了当的方法就是把数据一分为二:训练集和测试集。例如把模型在 70% 的数据上做训练,然后用剩下的 30% 数据来测量失误率。

举个接地气的例子!就好比谈恋爱,暖男就是既不会让你觉得太粘人,也不会让你觉得被疏远,而且不止对你一个人这样,对谁都这样,这个撩妹模型就训练的恰到好处...

(促进一下理解)

回到正题,衡量分类模型好坏的话只看错误率的话肯定是不够的。

咱们就说算命的,比如问一个算命大师 明年会不会生七胞胎,大家都心知肚明,这个特定时间怀孕这个事儿本来就没那么高,况且七胞胎就更不多了,姑且就认为七胞胎在人群中的概率是0.1%,于是乎呢,不管是谁问大师这个问题,他都说没有的话,那么他的准确率也是99.9%的,你能说他算的准么?

所以说,我们不只关心他算对了多少,更关心怀了七胞胎的人他算出来了多少。

假定有一个二分类问题,比如有几个男的和几个女扮男装的人站在一起 系统想把真男人挑出来。

给系统一个人,系统会判断这人是“真” 也就是男(Predicted positive),或是“假” 也就是女(Predicted Negative)。

如果你是男的,系统也判你是男的,就是真正TP(True Positive),

原本你是男的系统判定你是女的,就是假负FN(False Negative),

原本女的判成男的,就是假正FP(False Positive),

原本女的,系统判你是女的,就是真负TN(True Negative)。

这几个值可以组成一个混淆矩阵,很多指标都是基于这个混淆矩阵算出来的。

比如我们会关心系统判定是男人的人里面到底多少是真的男人 这个也叫查准率,TP/(TP+FP)。

我们还关心这些男人里,有多少男人被找出来了 这个也叫查全率,TP/(TP+FN)。

所以大家可以看出来,这两个量其实是相互矛盾的,一个高的时候,另一个可能就低点儿,比如我想把所有男人都挑出来,那最保险的方式就是把所有人都选上..那也没什么意义了,如果说希望选出来的人里面男人的比例尽可能的多,那就找出最有把握是男人的人,但是这样可能会漏掉一些长的没那么man的人,这样查全率就低了。

大部分情况下呢,我们是根据预测结果对这些样本排序,越靠前的就是越有可能是正例的样本,按照这个顺序预测,所以每次就可以得到当前的查准率和查全率,然后呢以查准率为纵轴,查全率为横轴画图,就能得到一个曲线,也就是P-R曲线。

有的时候呢,输出的结果是正例还是负例取决于设定的概率阀值概率阈值,这种阈值的选取也一定程度上反映了分类器的分类能力。我们当然希望无论选取多大的阈值,分类都能尽可能地正确。

所以呢我们再引入两个指标

真正率tpr 和假正率fpr

真正率呢和 查全率一样

假正率,就是预测为正样本但是预测错了的可能性FPR=FP/TN+FP

以真正率为纵轴,假正率为横轴我们可以得到一个曲线叫ROC曲线

ROC曲线一定程度上可以反映分类器的分类效果,但是不够直观,我们希望有这么一个指标,如果这个指标越大越好,越小越差,于是,就有了AUC。AUC实际上就是ROC曲线下的面积。AUC直观地反映了ROC曲线表达的分类能力。基本上,曲线下的面积(AUC)越大,或者说曲线更接近左上角(true positive rate=1, false positive rate=0),那么模型就越理想,越好。

混淆矩阵还可以组合出好几种指标,比如F1 score,以及macro-F1 ,方法不同思想类似,这儿就不赘述了

当然,不同的场景下呢,不同失误的代价不一样,关注的点也不一样,

做商品推荐,把不相关的东西给顾客推荐了,这也没什么太大的损失,运气好的话顾客兴许也就一起买了。

给罪犯定罪,只要是有罪的话,立刻死刑的这种情况下,如果无罪的判了有罪,这后果就很严重了

所以说 中心思想是什么呢:

第一,光看指标本身意义不大,要结合实际情况

第二,别走极端,差不多最完美

内容策划及主播:凉亮

监制:Sophie,魏子敏

后期:郭丽(终结者字幕)

文案:韩蕊

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-11-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

AI学会了视觉推理,“脑补”看不清的物体 | 李佳李飞飞等的CVPR论文

这张照片在人类眼中,左下角的一小片棕黄黑灰就是一匹活生生的马——这个姿势和场景,当然是骑马啦!

1494
来自专栏量子位

伯克利新研究:让深度强化学习不再一条道走到黑 | Paper+Code

问耕 编译自 BAIR Blog 量子位 出品 | 公众号 QbitAI 来自加州大学伯克利分校的博士生唐浩然(Haoran Tang)和Tuomas Haar...

35812
来自专栏AI2ML人工智能to机器学习

图文并茂,卡曼滤波

我务必向大家介绍卡尔曼滤波器(Kalman Filter),因为它之所能, 忒惊人!

792
来自专栏大数据文摘

学界 | CVPR 2018颁布五大奖项,何恺明获年轻学者奖

1174
来自专栏量子位

用DensePose,教照片里的人学跳舞,系群体鬼畜 | ECCV 2018

Facebook团队,把负责感知的多人姿势识别模型DensePose,与负责生成的深度生成网络结合起来。

1663
来自专栏Python中文社区

人工智能告诉你,明星的素颜有几分

專 欄 ❈LucasX,Python中文社区专栏作者,Applied Machine Learning。 ❈ 前言 机器学习是当今最性感的技术,平常做Rese...

21810
来自专栏刘笑江的专栏

Matrix Factorization

1312
来自专栏机器学习和数学

[机器的机器在学习] 你有一次国庆节大作业待接收~

明天就国庆放假了,正好赶上中秋节,首先祝大家“双节”快乐! 不管是出去玩,还在一个人在家里,在宿舍,在自己的小房子“玩”,祝大家都能找到自己的乐趣!但是呢, 安...

3709
来自专栏机器之心

学界 | 结合生成式与判别式方法,Petuum新研究助力医疗诊断

36412
来自专栏用户2442861的专栏

结合实例与代码谈数字图像处理都研究什么?

图像处理(以及机器视觉)在学校里是一个很大的研究方向,很多研究生、博士生都在导师的带领下从事着这方面的研究。另外,就工作而言,也确实有很多这方面的岗位和机会虚...

2601

扫码关注云+社区

领取腾讯云代金券