一般来说，监督学习的目标函数由损失函数和正则化项组成。（Objective = Loss + Regularization）
不同的损失函数可用于不同的目标。在这篇文章中，我将带你通过一些示例介绍一些非常常用的损失函数。这篇文章提到的一些参数细节都属于tensorflow或者keras的实现细节。
神经网络在训练时的优化首先是对模型的当前状态进行误差估计，然后为了减少下一次评估的误差，需要使用一个能够表示错误函数对权重进行更新，这个函数被称为损失函数。
代码路径：https://github.com/lilihongjava/leeblog_python/tree/master/tensorflow_logistic_regression
决定走上坡的路径将耗费我们的体力和时间。决定走下坡的路径将使我们受益。因此，下坡的成本是更小的。
【导读】：本文为大家介绍了Python机器学习算法的7个损失函数的详细指南，希望对大家有所帮助。
使用到的数据集为IMDB电影评论情感分类数据集，该数据集包含 50,000 条电影评论，其中 25,000 条用于训练，25,000 条用于测试。每条评论被标记为正面或负面情感，因此该数据集是一个二分类问题。
keras.utils.to_categorical这个方法，源码中，它是这样写的：
前两天介绍了一下Contrastive Loss，Triplet Loss以及Center Loss。今天正好是周六，时间充分一点我就来大概盘点一下语义分割的常见Loss，希望能为大家训练语义分割网络的时候提供一些关于Loss方面的知识。此文只为抛转引玉，一些Loss笔者暂时也没有进行试验，之后做了实验有了实验结果会继续更新。
IMDB 数据集包含来自互联网电影数据库(IMDB)的 50 000 条严重两极分化的评论。
为了开始了解熵到底指的是什么，让我们深入了解信息理论的一些基础知识。在这个数字时代，信息是由位（0和1）组成的。在通信时，有些位是有用的，有些是多余的，有些是错误的，等等。当我们传递信息时，我们希望尽可能多地向接收者传递有用的信息。
损失函数，即用于学习的反馈信号；损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度
说到计算机生成的图像肯定就会想到deep fake：将马变成的斑马或者生成一个不存在的猫。在图像生成方面GAN似乎成为了主流，但是尽管这些模型在生成逼真的图像方面取得了巨大成功，但他们的缺陷也是十分明显的，而且并不是生成图像的全部。自编码器（autoencoder）作为生成的图像的传统模型还没有过时并且还在发展，所以不要忘掉自编码器！
随着 Pinterest 不断从一个只保存想法的地方发展为一个发现激发行动的内容的平台，直接发布到 Pinterest 的创作者的原生内容有所增加。随着 Pinterest 上创作者生态系统的发展，我们致力于通过创作者代码等举措确保 Pinterest 保持积极和鼓舞人心的环境，这是一项强制接受准则（例如“善待”和“检查事实”）的内容政策在创作者可以发布创意 Pin 图之前。我们还在 Idea Pin 评论上设置了防护栏，包括积极性提醒、评论删除和关键字过滤工具以及垃圾邮件预防信号。在技术方面，我们使用机器学习中的尖端技术来近乎实时地识别和执行违反社区政策的评论。我们还使用这些技术首先显示最具启发性和最高质量的评论，以带来更高效的体验并推动参与。
想象一下，如果你能得到所有的tips和tricks，你需要去参加一个Kaggle比赛。我已经超过39个Kaggle比赛，包括：
https://machinelearningmastery.com/5-step-life-cycle-neural-network-models-keras/
来源：AI公园 深度学习爱好者本文约2500字，建议阅读5分钟作者参加了39个Kaggle比赛，总结了非常多的技巧和经验。 想象一下，如果你能得到所有的tips和tricks，你需要去参加一个Kaggle比赛。我已经超过39个Kaggle比赛，包括： Data Science Bowl 2017 – $1,000,000 Intel & MobileODT Cervical Cancer Screening – $100,000 2018 Data Science Bowl – $100,000 Air
从上图可以看出，训练神经网络是一个迭代的过程，输入X经过层的变化后，预测值与真实目标值在损失函数下计算出损失值，再通过优化器重新学习更新权重，经过N轮迭代后停止权重更新，也就确定了模型。
损失函数对于机器学习而言，是最基础也最重要的环节之一，因此在损失函数上「做好文章」，是一个机器学习项目顺利进行的前提之一。Deep Learning Demystified 编辑、数据科学家 Harsha Bommana 以浅显易懂的文字介绍了在不同的深度学习任务中如何设置损失函数，以期大家能够对损失函数有一个更加清晰的认识。雷锋网 AI 科技评论编译如下。
在任何深度学习项目中，配置损失函数是确保模型以预期方式工作的最重要步骤之一。损失函数可以为神经网络提供很多实际的灵活性，它将定义网络的输出如何与网络的其他部分连接。
在这篇文章中，我们将探索UNet++: A Nested U-Net Architecture for Medical Image Segmentation这篇文章，作者是亚利桑那州立大学的Zhou等人。本文是U-Net的延续，我们将把UNet++与Ronneberger等人的U-Net原始文章进行比较。
机器学习为计算模型提供了基于数据进行预测、分类和决策的能力。作为一个研究领域，机器学习是人工智能领域的一个子集，它封装了构建具有模仿人类智能甚至在某些情况下超越人类智能的能力的计算模型所涉及的过程。
当前，语义分割算法的本质是通过深度神经网络将图像像素映射到一个高度非线性的特征空间。然而，现有算法大多只关注于局部上下文信息（单个图像内、像素之间的位置和语义依赖性），却忽略了训练数据集的全局上下文信息（跨图像的、像素之间的语义相关性），因而难以从整体的角度对习得的特征空间进行约束，进而限制了语义分割模型的性能。
简而言之：训练集就是用来告诉神经网络模型"这就是马的样子"、"这就是人的样子"等数据。
如今，熟练使用像 Keras、TensorFlow 或 PyTorch 之类的专用框架和高级程序库后，我们不用再经常费心考虑神经网络模型的大小，或者记住激活函数和导数的公式什么的。有了这些库和框架，我们创建一个神经网络，哪怕是架构很复杂的网络，往往也只是需要几个导入和几行代码而已。如下示例：
在Keras环境下构建多层感知器模型，对数字图像进行精确识别。模型不消耗大量计算资源，使用了cpu版本的keras，以Tensorflow 作为backended，在ipython交互环境jupyter notebook中进行编写。 1.数据来源 在Yann LeCun的博客页面上下载开源的mnist数据库： http://yann.lecun.com/exdb/mnist/ 此数据库包含四部分：训练数据集、训练数据集标签、测试数据集、测试数据集标签。由于训练模型为有监督类型的判别模型，因此标签必不可少。若
在机器学习和深度学习中，损失函数 Loss function 是用来估量训练过程中模型的预测值Prediction与真实值Target的偏差，损失函数越小，预测值和真实值越接近，模型的泛化性能越好，通过不断调整模型参数使得损失函数越来越小，从而指导模型的学习。
来源：AI公园 深度学习爱好者 作者：Jingles(Hong Jing) 本文约1900字，建议阅读8分钟 本文为你介绍使用一系列的网格状的密集跳跃路径来提升分割的准确性。 在这篇文章中，我们将探索UNet++: A Nested U-Net Architecture for Medical Image Segmentation这篇文章，作者是亚利桑那州立大学的Zhou等人。本文是U-Net的延续，我们将把UNet++与Ronneberger等人的U-Net原始文章进行比较。 UNet++的目标是
本文将通过拆解SmallVGGNet的架构及代码实例来讲解如何运用Keras进行多标签分类。
🙋♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能&硬件（虽然硬件还没开始玩，但一直很感兴趣！希望大佬带带）
Mask R-CNN是基于Faster R-CNN的基于上演进改良而来，FasterR-CNN并不是为了输入输出之间进行像素对齐的目标而设计的，为了弥补这个不足，我们提出了一个简洁非量化的层，名叫RoIAlign，RoIAlign可以保留大致的空间位置，除了这个改进之外，RoIAlign还有一个重大的影响：那就是它能够相对提高10%到50%的掩码精确度（Mask Accuracy），这种改进可以在更严格的定位度量指标下得到更好的度量结果。第二，我们发现分割掩码和类别预测很重要：为此，我们为每个类别分别预测了一个二元掩码。基于以上的改进，我们最后的模型Mask R-CNN的表现超过了之前所有COCO实例分割任务的单个模型，本模型可以在GPU的框架上以200ms的速度运行，在COCO的8-GPU机器上训练需要1到2天的时间。
人工智能有两大分支，一支是机器学习，一支叫深度学习，目前后者占据人工智能技术的主流，当前流行的ZAO换脸应用，自动驾驶，人脸识别使用的都是后者。深度学习主要用于模仿人的认知能力，它的特长在于处理非机构化数据。
在 Keras 中，我们可以通过在我们的网络架构中添加Dropout层来实现丢弃。 每个Dropout层将丢弃每批中的一定数量的上一层单元，它是由用户定义的超参数。 请记住，在 Keras 中，输入层被假定为第一层，而不是使用add添加。 因此，如果我们想要将丢弃添加到输入层，我们在其中添加的图层是一个丢弃层。 该层包含输入层单元的比例，即0.2和input_shape，用于定义观测数据的形状。 接下来，在每个隐藏层之后添加一个带有0.5的丢弃层。
论文地址：https://arxiv.org/pdf/2007.09062.pdf
现有大多数推荐系统都是对观测到的交互数据进行优化，而这些数据受到之前曝光机制的影响，会表现出许多偏差，比如流行偏差。经常使用的基于pointwise的二元交叉熵和pairwise的贝叶斯个性化排序损失函数，并不是专门设计来考虑观测数据的偏差的。因此，对损失进行优化的模型仍然会存在数据偏差，甚至会放大数据偏差。例如，少数受欢迎的商品占据了越来越多的曝光机会，严重损害了小众物品的推荐质量。
Mask R-CNN是基于Faster R-CNN的基于上演进改良而来，FasterR-CNN并不是为了输入输出之间进行像素对齐的目标而设计的，为了弥补这个不足，我们提出了一个简洁非量化的层，名叫RoIAlign。
来源：DeepHub IMBA本文约2800字，建议阅读5分钟本文为你整理10个常见的损失函数。 什么是损失函数？ 损失函数是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。 损失函数与度量指
损失函数是一种衡量模型与数据吻合程度的算法。损失函数测量实际测量值和预测值之间差距的一种方式。损失函数的值越高预测就越错误，损失函数值越低则预测越接近真实值。对每个单独的观测(数据点)计算损失函数。将所有损失函数（loss function）的值取平均值的函数称为代价函数（cost function），更简单的理解就是损失函数是针对单个样本的，而代价函数是针对所有样本的。
对数损失 Log Loss 又称交叉熵损失 cross-entropy loss，两者名称不同，其实是等价的 ，常用于评价逻辑回归和神经网络。
本文是第二篇：基于keras建模解决Python深度学习的二分类问题，使用keras内置的IMDB数据集
昨天行云大佬找到我提出了他关于GiantPandaCV公众号出版的《从零开始学YOLOV3》电子书中关于原版本的YOLOV3损失的一个质疑，并给出了他的理解。昨天晚上我仔细又看了下原始论文和DarkNet源码，发现在YOLOV3的原版损失函数的解释上我误导了不少人。所以就有了今天这篇文章，与其说是文章不如说是一个错误修正吧。
论文链接：https://arxiv.org/pdf/2004.01547.pdf
领取专属 10元无门槛券
手把手带您无忧上云
