前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >SVM训练误差可能为0吗?

SVM训练误差可能为0吗?

作者头像
统计学家
发布2019-07-22 17:01:11
2K0
发布2019-07-22 17:01:11
举报
文章被收录于专栏:机器学习与统计学

Question1|为什么需要对数值类型的特征做归一化?

Question2|在对数据进行预处理时,应该怎样处理类别型特征?

Question3|Word2Vec是如何工作的?它和LDA有什么区别与联系?

Question4:是否存在一组参数使高斯核训练的SVM训练误差为0?

根据SVM的原理,我们可以将SVM的预测公式可写为

其中

为训练样本,而{α1,...,αm,b}以及高斯核参数γ为训练样本的参数。由于不存在两个点在同一位置,因此对于任意的i≠j,有

。我们可以对任意i,固定αi=1以及b=0,只保留参数γ,则有

将任意x(j)代入则有

,取

,可将上式重写为

所以,对于任意x(j),预测结果

与样本真实标签y(j)的距离小于1。注意

到,y(j)∈{1,−1},当训练样本为正例,即

=1时,预测结果

>0,样本被预测为正例;而当训练样本为负例,即

=-1时,预测结果

<0,样本被预测为负例。因此所有样本的类别都被正确预测,训练误差为0。

参考:《百面机器学习》3.2

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-07-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器学习与统计学 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档