TensorFlow 深度学习笔记 Logistic Classification

Logistic Classification

Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到Issue区讨论 官方教程地址 视频/字幕下载

About

simple but important classifier

  • Train your first simple model entirely end to end
  • 下载、预处理一些图片以分类
  • Run an actual logistic classifier on images data
  • Connect bit of math and code

Detail

Linear Classifier

之所以这样建模,是因为线性公式是最简单的数学模型,仅此而已。

  • Input: X (e.g. the pixels in an image)
  • Apply a linear function to X
  • Giant matrix multiply
  • Take inputs as a big vector
  • Multiply input vector with a matrix, W means weights
  • b means biased term
  • Machine learning adjust weights and bias for the best prediction
  • Output: Y, predictions for per output class
  • Y is a vector, represents the probability of each label
  • 好的预测中,正确的label的概率应当更接近1
  • 往往得到的Y一开始不是概率,而是一些具体值(scores/logits),所以需要转换,by:

Softmax回归模型:Wikipedia

Softmax

  • 代码 soft_max.py:Softmax实现与应用
  • input的score差异越大(可以全部乘10试试),则输出的各项label概率差异越大,反之差异越小
  • Softmax只关心几个label之间的概率,不关心具体值
  • 机器学习是一个让预测成功率升高的事情,因此是一个让score之间差异增大的过程

One hot encoding

正确预测结果应当是只有一个label成立,其他label不成立。这种情况下,预测概率最大的则是最可能的结果。

Example: take this test

  • one hot encoding在label很多的情况下not work well,因为output vector到处都是0,很稀疏,因此效率低
  • 好处:可以measure我们与理想情况之间的距离(compare two vectors)

分类器输出:[0.7 0.2 0.1] <=> 与label对应的真实情况:[1 0 0]

  • Compare two vectors: cross-entropy
  • D(S, L) != D(L, S)

Remember: Label don't log, for label zero

小结

找到合适的W和b,使得S和L的距离D的平均值,在整个数据集n中最小。

最小化cross-entropy

D的平均值即是Training loss,求和和矩阵相乘是个大数据的活。

两个参数的误差导致一个呈圆形的loss,所以我们要做的就是找到尽量靠近圆心的weight

机器学习问题变成了一个数值优化

  • 解决方法之一:Gradient descent,求导

修改参数,检查误差是否变大,往变小的方向修改,直到抵达bottom。

图中weight是二维的,但事实上可能有极多的weight

下一节实践

如果觉得我的文章对您有帮助,请随意打赏~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

多目标模板匹配

一. 模板匹配 模板匹配是数字图像处理的重要组成部分之一。把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准,或根据已...

3215
来自专栏计算机视觉战队

简单理解感受野

最近在组会讲解框架时,在感受野这个小知识点,大家开始产生歧义,今天我就简单的给大家讲解下这个小知识点,也给初学者带来一个对Receptive Field崭新的认...

2624
来自专栏技术随笔

[福利] 深入理解 RNNs & LSTM 网络学习资料图解

4689
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 7 - TensorFlow线性回归的参数溢出之坑

? 上一篇 6 解锁梯度下降算法解释清楚了学习率(learning rate)。本篇基于对梯度下降算法和学习率的理解,去填下之前在线性回归中发现的一个坑。 ...

3447
来自专栏yl 成长笔记

kera 学习-线性回归

园子里头看到了一些最基础的 keras 入门指导, 用一层网络,可以训练一个简单的线性回归模型。

904
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[5.3]:受限玻尔兹曼机——能量函数

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会每天在公众号中推送一到两节课,并且对视频中的 PPT 进行讲解。课后,我们会设计一...

2835
来自专栏大数据智能实战

神经网络在关系抽取中的应用

一、关系抽取简介 信息抽取的主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据(Structuring),关系抽取是其重要的子任务,主要负责从文本...

25310
来自专栏机器之心

资源 | 机器学习标准教科书PRML的Python实现:最佳读书伴侣

2346
来自专栏人工智能LeadAI

pytorch入门教程 | 第三章:构造一个小型CNN

学过深度卷积网络的应该都非常熟悉这张demo图(LeNet): ? 此图是LeNet的结构图,把32*32的手写英文字符图片作为输入,训练出一个对于手写字符的分...

3017
来自专栏计算机视觉战队

深度学习——感受野

最近在组会讲解框架时,在感受野这个小知识点,大家开始产生歧义,今天我就简单的给大家讲解下这个小知识点,也给初学者带来一个对Receptive Field崭新的认...

4047

扫码关注云+社区