一般来说，分类模型的最后一层都是softmax层，假设我们有一个 分类问题，那对应的softmax层结构如下图所示（一般认为输出的结果 即为输入 属于第i类的概率）：
可以分为监督学习（Supervised Learning），无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）四大类。
标签为某个分类域，定义一组标签需要同时确定标签内的类别数量，分类时在标签内的类别是互斥但必须选择一个的
AI 科技评论按：第 32 届人工智能顶级会议 AAAI 2018 在美国新奥尔良召开。在今年的 AAAI 上，优必选悉尼 AI 研究院共有 5 篇论文入选，其中 3 篇 oral，2 篇 poster。
人工智能技术具有改变人类命运的巨大潜能，但同样存在巨大的安全风险。攻击者通过构造对抗样本，可以使人工智能系统输出攻击者想要的任意错误结果。从数学原理上来说，对抗攻击利用了人工智能算法模型的固有缺陷。本文以全连接神经网络为例来介绍对抗样本对人工智能模型作用的本质。
目前，深度神经网络在计算机视觉、机器学习和人工智能等领域取得了巨大的实际成功。然而，从理论上对深度神经网络的理解相对于其在经验上的成功来说是较为缺乏的。在理论上，理解深度神经网络的一个主要难点是用于训练网络的目标函数的非凸性以及高维度。由于非凸性和高维度，能否保证深度神经网络在训练过后具有理想的性质，而不是陷入一个随机的糟糕的局部极小值点附近，往往还不清楚。实际上，寻找一个通用的非凸函数（Murty & Kabadi, 1987）以及用于训练特定种类神经网络的非凸目标函数（Blum & Rivest, 1992）的全局极小值是 NP-Hard 的问题，这引起了研究人员对高维问题的关注（Kawaguchi et al., 2015）。在过去，这类理论问题被认为是人们偏向于选择只需要进行凸优化的经典机器学习模型（无论带不带有核方法）的原因之一。尽管深度神经网络近来取得了一系列的成功，但始终绕不开一个问题：能否在理论上保证深度神经网络避开糟糕的局部极小值点？
AI100 已经引入 Hugo Larochelle 教授的深度学习课程，会每天在公众号中推送一到两节课，并且对视频中的 PPT 进行讲解。课后，我们会设计一系列的问题来巩固课程中的知识。本节课是
机器学习在监督学习领域主要解决两个问题，分类和回归问题。那么分类问题又分为二分类问题和多分类问题，而二分类问题相对来说很好解决，我们只需要构建输出层有一个神经元的神经网络，然后结合sigmoid函数，即可实现二分类问题。而神经网络的多分类问题就相对复杂一些，假如我们要解决三分类的问题，那么我们构建神经网络的时候，就需要构建一个输出层为三个神经元的神经网络，然后配合使用softmax回归来完成神经网络多分类的任务。
如图1-11所示的树状图展现了当代女大学生相亲的决策行为。其考虑的首要因素的是长相，其他考虑因素依次为专业、年龄差和星座，同意与否都根据相应变量的取值而定。
Two Local Models for Neural Constituent Parsinggodweiyang.com
深度学习作为机器学习研究领域中的一个方向，它的起源离不开人们对大脑认知原理，尤其是视觉原理的研究。
神经元的基本图示，这里x1、x2、x3.....代表特征数据的输入，最后一个1是一个特殊的特征，表示x^0项，对应的就是一个截距b。它们经过加权W•x，这里W,x都是向量，再经过一个函数h(W•x)就得到了一个输出。整个公式如下
我在学习深度学习的过程中，发现交叉熵损失在分类问题里出现的非常的频繁，但是对于交叉熵损失这个概念有非常的模糊，好像明白又好像不明白，因此对交叉熵损失进行了学习。
本文简要介绍CVPR 2019的Oral论文：Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate。该文章主要解决的问题是：在已知分布以外的样本上，神经网络预测结果的置信度过高。开源代码：https://github.com/max-andr/relu_networks_overconfident
注： 本文内容是对《机器学习数学基础》一书有关内容的补充资料。《机器学习数学基础》即将由电子工业出版社于2021年5月出版。与本书相关的更多资料，请查阅微信公众号：老齐教室，或者：https://qiwsir.gitee.io/mathmetics/
本文简要介绍CVPR 2019的Oral论文：Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate。该文章主要解决的问题是：在已知分布以外的样本上，神经网络预测结果的置信度过高。
全部内容来源于《Python深度学习》，以练习为主，理论知识较少，掺杂有一些个人的理解，虽然不算很准确，但是胜在简单易懂，这本书是目前看到最适合没有深度学习经验的同学们入门的书籍了，不妨试试，该书作者：Francois Chollet，即Keras之父，该书译者：张亮；
决策树 决策树优点 1、决策树易于理解和解释，可以可视化分析，容易提取出规则。 2、可以同时处理标称型和数值型数据。 3、测试数据集时，运行速度比较快。 4、决策树可以很好的扩展到大型数据库中，同时它
然后输出两张图片的差异值--如果你放进同一个人的两张照片，你希望他能输出一个很小的值，如果你放进两个长相差别很大的人的照片
来自：机器之心 “现有的最优方法在文本、人脸以及低光照图像上的盲图像去模糊效果并不佳，主要受限于图像先验的手工设计属性。本文研究者将图像先验表示为二值分类器，训练 CNN 来分类模糊和清晰图像。实验表
选自arXiv 机器之心编译 参与：Nurhachu Null、刘晓坤 现有的最优方法在文本、人脸以及低光照图像上的盲图像去模糊效果并不佳，主要受限于图像先验的手工设计属性。本文研究者将图像先验表示为二值分类器，训练 CNN 来分类模糊和清晰图像。实验表明，该图像先验比目前最先进的人工设计先验更具区分性，可实现更广泛场景的盲图像去模糊。 简介 盲图像去模糊（blind image deblurring）是图像处理和计算机视觉领域中的一个经典问题，它的目标是将模糊输入中隐藏的图像进行恢复。当模糊形状满足空间不
在《神经网络中常见的激活函数》一文中对激活函数进行了回顾，下图是激活函数的一个子集——
在线性分类中，我们使用s=Wxs=Wx计算类别的评分函数，其中WW为一个矩阵，xx为一个列向量，输出表示类别的评分向量。而在神经网络中，最常用的是s=W2max(0,W1x)s=W_2max(0,W_1x)，其中函数max(0,−)max(0,-)是非线性的，也可以使用其他的一些非线性函数。如果没有非线性函数，那么对于分类的评分计算将重新变成关于输入的线性函数。因此，非线性函数是改变的关键。参数W1,W2W_1,W_2通过随机梯度下降来学习，他们的梯度在反向传播过程中，通过链式法则求导得出。类似地，一个三层地神经网络评分函数为s=W3max(0,W2max(0,W1x))s=W_3max(0,W_2max(0,W_1x))
实现多标签分类算法有DNN、KNN、ML-DT、Rank-SVM、CML，像决策树DT、最近邻KNN这一类模型，从原理上面天然可调整适应多标签任务的（多标签适应法），如按同一划分/近邻的客群中各标签的占比什么的做下排序就可以做到了多标签分类。这部电影10个近邻里面有5部是动作片，3部是科幻片，可以简单给这部电影至少打个【科幻、动作】。
人脸识别面临的挑战：要解决一次学习问题，通过单单 一张图片/人脸 就能去识别这个人
本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 ---- 1. 什么是激活函数 如下图，在神经元中，输入的 inputs 通过加权，求
随着人工智能尤其是深度学习的快速发展，计算机视觉成为了这些年特别热门的研究方向。在这里我们将开启一个全新的系列【计算机视觉那些事】，来分享我们这些年在计算机视觉上的一些认识和经验。在这个系列中，我们主要会围绕计算机视觉中的深度学习算法展开，包含图像分类、目标检测、图像分割和视频理解等诸多领域的理论和应用。
一种方法是先对数据集进行探查，然后思考什么模型适用于这个数据集，先尝试一些简单的模型，最后再开发并调优一个稳健的模型。
比如，在互联网广告和推荐系统中，曾广泛使用Sigmod函数来预测某项内容是否有可能被点击。Sigmoid函数输出值越大，说明这项内容被用户点击的可能性越大，越应该将该内容放置到更加醒目的位置。
新智元推荐 来源：知乎 作者：mileistone 【新智元导读】谷歌最近推出的“深度学习速成课程”很火，虽然这门课程是为没有任何机器学习经验的初学者设计的，但已经跨过“初学者”门槛的专业人员也能
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
导言 啦啦啦，现今 GAN 算法可以算作 ML 领域下比较热门的一个方向。事实上，GAN 已经作为一种思想来渗透在 ML 的其余领域，从而做出了很多很 Amazing 的东西。比如结合卷积神经网络，可以用于生成图片。或者结合 NLP，可以生成特定风格的短句子。（比如川普风格的 twitter......） 可惜的是，网络上很多老司机开 GAN 的车最后都翻了，大多只是翻译了一篇论文，一旦涉及算法实现部分就直接放开源的实现地址，而那些开源的东东，缺少了必要的引导，实在对于新手来说很是懵逼。所以兔子哥哥带着
首先后面一层作为预测分类的输出节点，每一个节点就代表一个分类，如图所示，那么这7个节点就代表着7个分类的模型，任何一个节点的激励函数都是：
这是“标量对向量”求导数，行向量或列向量都不重要，向量只是一组标量的表现形式，重要的是导数“d组合/d股票”的“股票”的向量类型一致 (要不就是行向量，要不就是列向量)。
二分类可能是机器学习最常解决的问题。我们将基于评论的内容将电影评论分类：正类和父类。
https://keras.io/api/metrics/classification_metrics/#precision-class
分类算法若是按照类别个数划分，可以分为单分类、二分类以及多分类这三种。一般我们见的比较多是二分类或是多分类。
本文介绍一款有趣的入门工具，可以在线（网页端）直接搭建简易的网络并可视化整个训练的过程！
每个神经网络单元的工作包括两部分：计算 z，然后根据激活函数（sigmoid）计算 σ(z)
初入机器学习，无论是在书本上，还是在学习平台上，第一个介绍的就是监督学习，那么什么是监督学习呢？监督——顾名思义，把你“看着学习”，说的直白一点就是让你的计算机明白一种规律，并且按照这种规律进行大量的学习，最后通过该规律进行预测或者分类。
一个非常有趣的讲解 （感知器是一种单层神经网络，而多层感知器则称为神经网络。）： https://towardsdatascience.com/what-the-hell-is-perceptron-626217814f53
注意：当使用categorical_crossentropy损失函数时，你的标签应为多类模式，例如如果你有10个类别，每一个样本的标签应该是一个10维的向量，该向量在对应有值的索引位置为1其余为0。
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。
在深度学习中，损失函数是训练模型时非常重要的一部分。PyTorch提供了许多损失函数，其中包括MSE Loss（均方误差损失）和BCE Loss（二分类交叉熵损失）。本篇文章将对这两种损失函数进行详细讲解和对比。
目前为止，学习了只有一个单独隐藏层的神经网络的正向传播和反向传播，还有逻辑回归，并且还学到了向量化，这在随机初始化权重时是很重要。
从本章起，我们将正式开始介绍神经网络模型，以及学习如何使用TensorFlow实现深度学习算法。人工神经网络（简称神经网络）在一定程度上受到了生物学的启发，期望通过一定的拓扑结构来模拟生物的神经系统，是一种主要的连接主义模型（人工智能三大主义：符号主义、连接主义和行为主义）。本章我们将从最简单的神经网络模型感知器模型开始介绍，首先了解一下感知器模型（单层神经网络）能够解决什么样的问题，以及它所存在的局限性。为了克服单层神经网络的局限性，我们必须拓展到多层神经网络，围绕多层神经网络我们会进一步介绍激活函数以及反向传播算法等。本章的内容是深度学习的基础，对于理解后续章节的内容非常重要。
这样来导入神经网络这个模块，如果做分类，就是MLPClassifier，它和神经网络什么关系？它叫做多层感知机。这里是用它做分类的一个算法。
推荐一波EverGlow老哥的Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach，其探索了神经网络如何处理测试阶段出现的新特征(值)？——面向开放世界特征外推的图学习解决方案
从【DL笔记1】到【DL笔记N】以及【DL碎片】系列，是我学习深度学习一路上的点点滴滴的记录，是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、原理、公式，到用生动形象的例子去理解，到动手做实验去感知，到著名案例的学习，到用所学来实现自己的小而有趣的想法......我相信，一路看下来，我们可以感受到深度学习的无穷的乐趣，并有兴趣和激情继续钻研学习。 正所谓 Learning by teaching，写下一篇篇笔记的同时，我也收获了更多深刻的体会，希望大家可以和我一同进步，共同享受AI无穷的乐趣。
来源：sandipanweb 编译：Bot 编者按：之前，论智曾在TOP 10：初学者需要掌握的10大机器学习（ML）算法介绍了一些基础算法及其思路，为了与该帖联动，我们特从机器学习热门课程HSE的Introduction to Deep Learning和吴恩达的Neural Networks and Deep Learning中挑选了一些题目，演示Python、TensorFlow和Keras在深度学习中的实战应用。 “课后作业”第二题如何用一个只有一层隐藏层的神经网络分类Planar data，来自吴
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
