机器学习课程_笔记03

局部加权回归

线性回归算法里的成本函数:

正规方程解出的参数解析表达式:

由于使用了过小的特征集合使得模型过于简单,在这种情形下数据中的某些非常明显的模式没有被成功地拟合出来,我们将其称之为:欠拟合(underfitting)。

由于使用了过大的特征集合使得模型过于复杂,算法拟合出的结果仅仅反映了所给的特定数据的特质,我们可以称之为过拟合。

在特征选择中存在上述两类问题。

这里讲到一类非参数学习算法,可以缓解对于选取特征的需求,就是局部加权回归算法。

这个算法可以让我们不必太担心对于特征的选择。

算法示意

称为波长函数, \(\tau\)较小,则权值随距离下降得快, \(\tau\)较大,则权值随距离下降得慢。

线性回归的概率解释

代表误差项,它表示了一种我们没有捕获到的特征,或者你也可以把它看成一种随机的噪声。

然后可以得到

是独立同分布的。

然后定义

这个就是参数\Theta的似然性。

算法的目标也就变为:

再定义

然后最大化 \ell(\Theta) 就变成了最小化 2=J()

于是推导出了线性回归算法里的成本函数。

logistic回归

推导过程

上述g(Z)公式就叫做sigmoid函数,也叫logistic函数。

同样使用概率解释下logistic回归函数。

采用梯度上升算法来最大化

最后得到logistic回归的更新\Theta​的过程为

## 感知器算法

这个跟logistic算法很相似,更新\(\Theta\)的过程为

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

谷歌官方:反向传播算法图解

【新智元导读】反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反...

17000
来自专栏SnailTyan

Single Shot MultiBox Detector论文翻译——中文版

SSD: Single Shot MultiBox Detector 摘要 我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD,...

32200
来自专栏机器学习、深度学习

跟踪算法基准--Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking

Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tr...

29460
来自专栏李智的专栏

斯坦福CS231n - CNN for Visual Recognition(1)-lecture2图像分类、最近邻分类器

  顾名思义,就是给定一个图像,判断出它属于哪一个类。通常通过带有标签的数据作为训练集用各种方法进行训练, 然后在测试集上进行测试,预测出最可能的类别(标签)。

9710
来自专栏新智元

【干货】CNN 感受野首次可视化:深入解读及计算指南

【新智元导读】作为目前的研究和应用热点,图形识别使用 CNN 模型架构。感受野则是 CNN 中最为重要的概念之一,但此前还没有任何关于如何计算和可视化 CNN ...

46030
来自专栏人工智能

课后作业(二):如何用一个只有一层隐藏层的神经网络分类Planar data

来源:sandipanweb 编译:Bot 编者按:之前,论智曾在TOP 10:初学者需要掌握的10大机器学习(ML)算法介绍了一些基础算法及其思路,为了与该帖...

20360
来自专栏世界第一语言是java

BP神经网络基础算法

28130
来自专栏决胜机器学习

卷积神经网络(四) ——目标检测与YOLO算法

卷积神经网络(四) ——目标检测与YOLO算法 (原创内容,转载请注明来源,谢谢) 一、概述 目标检测,主要目的是在图片中,分类确认是否有需要的物体,如果有则标...

1.6K60
来自专栏张俊红

支持向量机详解

总第81篇 (本文框架) 01|概念及原理: 支持向量机是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器。 说的通俗一点就是就是在特征空...

36230
来自专栏小鹏的专栏

Faster RCNN:RPN,anchor,sliding windows

paper链接:Faster R-CNN: Towards Real-Time Object Detection with Region Proposal N...

977100

扫码关注云+社区

领取腾讯云代金券