专栏首页用户5637037的专栏图插值激活提高数据高效深度学习的自然精度和鲁棒精度
原创

图插值激活提高数据高效深度学习的自然精度和鲁棒精度

原文标题:Graph Interpolating Activation Improves Both Natural and Robust Accuracies in Data-Efficient Deep Learning

摘要:提高深度神经网络(DNNs)的准确性和鲁棒性,并使其适应较小的训练数据,是深度学习研究的主要任务。本文用一个基于拉普拉斯图的高维插值函数代替DNNS的输出激活函数(典型的数据无关的Softmax函数),该函数在连续极限下收敛于高维流形上的Laplace-Beltrami方程的解。此外,我们还提出了这种新架构的端到端训练和测试算法.该DNN融合了深度学习和流形学习的优点。与传统的以Softmax函数作为输出激活的DNN相比,该框架具有以下主要优点:第一,它更适用于不使用大量训练数据而训练高容量DNN的数据高效学习。第二,它显着地提高了清洁图像的自然准确性和对抗性图像的鲁棒准确性,这两种图像都是由白盒和黑盒对抗性攻击构建的。第三,对于可再现性,它是半监督学习的自然选择。

地址: https://arxiv.org/abs/1907.06800

作者: Bao Wang, Stanley J. Osher

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 机器学习工作流的两阶段优化

    原文标题:Two-stage Optimization for Machine Learning Workflow

    Jarvis Cocker
  • 广义信念函数:不确定性建模与处理的新概念

    原文标题:Generalized Belief Function: A new concept for uncertainty modelling and pr...

    Jarvis Cocker
  • 人工智能科学论文摘要20篇(2019-07-17)

    原文标题:An Overview of the Ludii General Game System

    Jarvis Cocker
  • 教你构建机器学习项目:吴恩达新书《Machine Learning Yearning》

    【导读】本文主要介绍吴恩达最近正在编写的新书《Machine Learning Yearning》,旨在教你如何构建机器学习项目,它与吴恩达之前机器学习课程有所...

    WZEARW
  • 深度学习Pytorch检测实战 - Notes - 第1&2章 基础知识

    物体检测技术,通常是指在一张图像中检测出物体出现的位置及对应的类别。我们要求检测器输出5个量:物体类别、

    肉松
  • JavaScript函数(二)

    在前面我们已经对函数作了简单的介绍,比如函数的定义、函数的声明、函数的调用和函数的传参等。本节将进一步介绍函数的应用,深度理解函数的各种使用。 函数是一个对象,...

    水击三千
  • 深入机器学习系列之:Gradient-boosted tree

    梯度提升属于Boost算法的一种,也可以说是Boost算法的一种改进,它与传统的Boost有着很大的区别,它的每一次计算都是为了减少上一次的残差,而为了减少这些...

    数据猿
  • 如何学python 第八课 流程控制-For,While,循环语句,函数

    循环语句 也许你会问,什么是‘循环’?在脚本程序里,循环就是‘在一定情况下一次又一次的执行某些代码’。举个例子来说,假设你很饿,桌上有好多好多个馒头,当你依旧饿...

    用户1631416
  • 数学--数论--莫比乌斯反演

    一、莫比乌斯反演涉及知识 1.莫比乌斯函数 2.莫比乌斯的线性筛法 3.狄利克雷卷积 4.莫比乌斯反演详解 5.整除法分块 6.杜教筛

    风骨散人Chiam
  • python学习笔记 函数

    在python中,函数是一等对象。编程语言理论家把“一等对象”定义为满足以下条件的程序实体:

    py3study

扫码关注云+社区

领取腾讯云代金券