本篇是神经网络体系搭建的第五篇，解决体系搭建的项目实战，详见神经网络体系搭建(序)
本篇是神经网络体系搭建的第二篇，解决体系搭建的深度学习网络相关问题，详见神经网络体系搭建(序) 深度学习是一个已经被说烂了的词，几乎说起人工智能，非专业人士也会说出深度学习这个词，甚至有时候觉得神经网络，low爆了，深度学习才流行。 我也一度以为深度学习是多么神奇的一个技术，其实说到底，还是神经网络，没啥高大上的，只不过深了很多层，注意，是“深”，而不是“宽”。但是呢，就是深了很多层，确实让它的表现好了很多，所以它才有了一个专有名字，叫做深度学习。 深入了解深度学习，先从多层感知器说起。 多层感知器（M
神经网络这个概念并不陌生，但是从接触到现在这一个月的时间里，云里雾里，始终无法建立起完整的体系，能让自己顺畅地用神经网络解决一个具体问题，并进行有针对性的优化。于是决定整理近日所学，尝试搭建一个完整的知识体系。 体系的搭建想从一系列问题入手，也是我学到此刻急需彻底理清的一些问题，将陆续更新并附上链接。 神经网络是什么？解决问题的步骤（算法）是什么？ 梯度下降用在神经网络的哪一步？ 损失函数是干什么用的？ 神经网络模型有哪些参数可以调整（优化）？ 上述四问题在神经网络体系搭建（一）中解决 多层感知器是什么
本篇是神经网络体系搭建的第一篇，解决体系搭建的前四个问题，详见神经网络体系搭建(序) 神经网络 最简单的神经网络 神经网络的定义就不再赘述，直接从最简单的神经网络说起。 将一系列输入数据，通过训练好的
本篇是神经网络体系搭建的第三篇，解决体系搭建的卷积神经网络相关问题，详见神经网络体系搭建(序) 卷积神经网络（CNN） CNN是什么 卷积神经网络是一种空间上共享参数的神经网络。 为什么会有CNN 像
在机器学习中，分类器将类别标签分配给数据点。例如，图像分类器针对图像中存在哪些对象产生类别标签（例如，鸟，飞机）。一个卷积神经网络，或CNN的简称，是一种类型的分类，在解决这个问题，其过人之处！
许多动物天生就具有某些能力。马可以在出生后数小时内行走，鸭子可以在孵化后很快游泳，人类婴儿刚出生就会啼哭。动物大脑已经进化为几乎不用通过学习就可以具有某项技能，许多研究人员希望在人工智能中重现这种自然的能力。
众所周知，动物与生俱来就有独特能力和倾向，马出生后几个小时就能走路，鸭子孵化后很快就能游泳，而人类婴儿会自动被脸吸引。大脑已经进化到只需很少或根本没有经验就能承担起这个世界，许多研究人员希望在人工智能中重现这种自然能力。
本文是关于PointNet点云深度学习的翻译与理解，PointNet是一种直接处理点云的新型神经网络，它很好地体现了输入点云的序列不变性。
本篇是神经网络体系搭建的第四篇，解决体系搭建的TensorFlow相关问题，详见神经网络体系搭建(序) TensorFlow安装 建议用Anaconda。 - Mac & Linux con
原文来源：arxiv 作者：Hao Li、Zheng Xu、Gavin Taylor、Tom Goldstein 「雷克世界」编译：嗯~阿童木呀、KABUDA 一般来说，我们对于神经网络的训练，往往依赖于找到高度非凸损失函数的“极好”极小值的能力。众所周知，某些网络体系结构的设计（例如，跳过连接）能够产生更容易进行训练的损失函数，且用精心挑选的参数（批量大小，学习速率，优化器）进行训练则能够产生可以进行更好泛化的最小化值。然而，这些差异之所以产生的原因，以及它们对潜在损失情况（loss landsc
本文探讨了神经网络训练中损失函数可视化方法的局限性，并提出了一种新的过滤器正则化方法来对不同最小值进行并行比较。通过使用过滤器正则化，可以有效地揭示损失函数的局部几何形状，并观察到深度网络中的凸面-混乱转变，以及跳过连接如何促进平面最小化。
J. Nocedal y S. Wright, “Numerical optimization”, Springer, 1999
“你的大脑并不产生思想。你的思想塑造了神经网络。”——Deepak Chopra
来源：专知本文为论文介绍，建议阅读5分钟在这项工作中，我们提出了一个新的框架迭代推理与神经网络。 深度学习在图像分类和物体识别等复杂的模式识别任务中表现出色。然而，它很难处理需要困难推理的任务，比如算法计算。人类能够通过迭代推理来解决这样的任务——花更多的时间来思考更难的任务。然而，大多数现有的神经网络都表现出由神经网络体系结构控制的固定计算开销，从而阻止了对更难的任务进行额外的计算处理。在这项工作中，我们提出了一个新的框架迭代推理与神经网络。我们训练一个神经网络，将所有输出的能量参数化，并将迭代推理的每
来源：云栖社区 作者：Pavel Surmenok 本文长度为2600字，建议阅读5分钟 本文帮助你理解神经网络的应用，并使用TensorFlow解决现实生活中的问题。 如果你一直关注数据科学/机器学
归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络体系结构、批处理大小和特定任务的不同而变化。
计算机视觉深度学习的成功可部分归功于大量标记训练数据，随着质量提高，多样性和训练数据量，模型的性能通常会提高。但是，收集足够的高质量数据来训练模型以实现良好性能通常是非常困难的。解决这个问题的一种方法是将图像的对称性硬编码到神经网络体系结构中，这样它们就能更好地运行，或者让专家手动设计数据增强方法，比如旋转和翻转，这些方法通常用于训练表现良好的视觉模型。然而最近人们很少关注如何通过机器学习来自动增加现有的数据。在我们的自动化设计的结果中，我们设计了神经网络体系结构和优化器来取代以前的系统组件，我们是否也可以自动化数据扩增的过程？
为了帮助各位学术青年更好地学习前沿研究成果和技术，AI科技评论联合Paper 研习社（paper.yanxishe.com），重磅推出【今日 Paper】栏目， 每天都为你精选关于人工智能的前沿学术论文供你学习参考。以下是今日的精选内容——
PyTorch 已经成为现在创建神经网络的事实上的标准之一，我喜欢它的界面。但是，对于初学者来说，要获得它有些困难。
摘要： AI人才缺口巨大？如果你想成为AI革命中的一员，那么你就必须要学习深度学习，看看这12本书，它们将成为你的利器！ 我相信你应该知道人工智能，尤其是深度学习在过去5年左右取得了不错的进步。 深度学习是由少数研究人员开始的一个相对较小的领域，现在已经变得如此主流，以至于我们现在每天使用的应用程序和服务，现在都在使用深度学习来执行不久前难以想象的任务。 但深度学习并不新鲜，从20世纪40年代开始，Warren McCulloch和Walter Pitts就基于数学和算法创建了神经网络的计算模型。 然而，
如果你一直关注数据科学/机器学习，你就不能错过深度学习和神经网络的热潮。互联网公司正在寻找这方面的人，而且从竞赛到开源项目，都有巨额奖金。 如果你对深度学习所提供的前景感到兴奋，但是还没有开始，在这里或许是你开始的第一步。 在这篇文章中，我将介绍TensorFlow。阅读本文后，你将能够理解神经网络的应用，并使用TensorFlow解决现实生活中的问题，本文中的代码是用Python编写的，Python最近的火爆也和深度学习有关。 何时使用神经网络？ 有关神经网络和深度学习的更详细的解释， 请看这里（ht
本文提出APQ，以便在资源受限的硬件上进行有效的深度学习推理。与以前分别搜索神经体系结构，修剪策略和量化策略的方法不同，本文以联合方式优化它们。为了应对它带来的更大的设计空间问题，一种有前途的方法是训练量化感知的准确性预测器，以快速获得量化模型的准确性，并将其提供给搜索引擎以选择最佳拟合。但是，训练此量化感知精度预测器需要收集大量量化的<model，precision>对，这涉及量化感知的微调，因此非常耗时。为了解决这一挑战，本文建议将知识从全精度（即fp32）精度预测器转移到量化感知（即int8）精度预测器，这将大大提高采样效率。此外，为fp32精度预测器收集数据集只需要通过从预训练的 once-for-all 网络中采样就可以评估神经网络，而无需任何训练成本。ImageNet 上的大量实验证明了联合优化方法的好处。与MobileNetV2 + HAQ 相比，APQ 以相同的精度将延迟降低2倍，能耗降低1.3倍。与单独的优化方法（ProxylessNAS + AMC + HAQ ）相比，APQ可提高ImageNet精度2.3％，同时减少GPU数量级和CO2排放量，从而推动了绿色AI在环保方面的前沿。
NVIDIA DeepStream SDK非常适合正在创建和部署基于AI的大规模视频分析应用程序的开发者们。 DeepStream SDK提供完整的框架和所有基本的构建块。它可以让开发者专注于自己的核
导读： 从训练到用不同的参数做实验，设计神经网络的过程是劳力密集型的，非常具有挑战性，而且常常很麻烦。但是想象一下，如果能够将这个过程实现自动化呢？将这种想象转变为现实，就是本指南的核心内容。 我们将探索一系列的研究论文，这些论文试图解决具有挑战性的自动化神经网络设计任务。在本指南中，我们假设读者尝试过使用 Keras 或 TensorFlow 等框架从头开始设计神经网络。
Brain.js是一个Javascript库，用于替代（现在已弃用的）“ 脑 ”库的神经网络，该库可与Node.js一起使用或在浏览器中使用（注释计算），并为不同任务提供不同类型的网络。以下是训练网络以识别色彩对比的演示。
整理 | 寇雪芹 头图 | 下载于ICphoto 出品 | AI科技大本营（ID：rgznai100） 昨天， Coursera 网站上更新了《深度学习》专项课程。这是一套很受欢迎的新手的入门级课程，根据 Coursera 网站上的实时显示，这门课程已经有近60万人报名。而就在 4月1号，这个由人工智能领域大佬级人物吴恩达（Andrew Ng）创建的在线教育平台才刚刚上市。 吴恩达在昨日发布的推特中表示，更新的内容主要与Transformer相关，编程作业使用的是TensorFlow 2。 实际上，《
对于此示例，我将对R中的时间序列进行建模。我将最后24个观察值保留为测试集，并将使用其余的观察值来拟合神经网络。当前有两种类型的神经网络可用，多层感知器；和极限学习机。
今天将分享Unet的改进模型UXNet，改进模型来自2020年的论文《UXNet: Searching Multi-level Feature Aggregationfor 3D Medical Image Segmentation》，简单明了给大家分析理解该模型思想。
衡量是否达到人类智能，涉及由有限的经验，通过抽象推理和规划、类比推理、创造性问题解决和语言能力的概括，从而将经验整合到概念中，将概念作为理解和推理的基本架构。
算法该如何分辨这只狗可能属于哪个品种？当然小伙伴们可以训练自己的卷积神经网络来对这张图片进行分类，但是通常情况下我们既没有GPU的计算能力，也没有时间去训练自己的神经网络。但是，全世界的各个研究团队（例如牛津，谷歌，微软）都拥有足够的计算能力，时间和金钱，而且以前可能已经解决过一些类似的问题。我们该如何利用他们已经完成的工作呢？现在来让我们了解一个重要的概念——转移学习。
作者：Joao Carreira,Eric Noland,Chloe Hillier,Andrew Zisserman
【导读】如今，深度学习在各项任务中所向披靡，比如图像识别，语音处理和自然语言处理。但是，深度学习的理论探讨却比应用滞后好几个数量级，一方面是做应用马上能见效，然后会有很多人尝试，另一个方面是做理论研究门槛相对比较高。本文是ICCV 2017上《深度学习中的数学理解》（Tutorial on the Mathematics of Deep Learning）教程的论文总结，从网络架构、正则化技术和优化算法三个方面解释深度学习成功背后的数学理论支撑，并详细讲解全局最优性、几何稳定性、学习表征不变性等网络特性的数
通过对称性和的变换，可以提炼出覆盖CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需构建的架构吗？
近年来，AutoML在自动化机器学习的设计方面已经取得了巨大的成功，例如设计神经网络体系结构和模型更新规则。
机器之心整理 参与：蒋思源、李泽南、李亚洲 近几年，深度学习高速发展，出现了大量的新模型与架构，以至于我们无法理清网络类型之间的关系。在这篇文章中，中国香港科技大学（HKUST）助理教授金成勳总结了深度网络类型之间的谱系图，以便于我们索引不同类型网络的杰出研究成果。 金成勳在 GitHub 上梳理出的谱系图如下（点击图片放大查看），最后的蓝色字体部分是各分支内的杰出研究成果（附所有论文链接）。机器之心在此基础上对各个分支网络做了介绍、补充，希望对读者了解网络体系间的关联有所帮助。如有缺陷，欢迎
两者之间的区别在于，在两个阶段的检测器中，第一阶段使用区域提议网络来生成关注区域，第二阶段使用这些关注区域进行对象分类和边界框回归。另一方面，单级检测器使用输入图像直接学习分类概率和边界框坐标。因此，这些架构将对象检测视为简单的回归问题，因此速度更快但准确性较低。
【导读】这篇博文介绍了如何在深度学习框架Keras上实现文本摘要问题，探讨了如何使用编码器-解码器递归神经网络体系结构来解决文本摘要问题，如何实现文本摘要问题的不同的编码器和解码器，博文通俗易懂，专知内容组整理出来，希望大家喜欢。 Encoder-DecoderModels for Text Summarization in Keras 用Keras实现基于Encoder-Decoder的文本自动摘要 作者：Jason Brownlee 译者：专知内容组 ▌文本摘要概述 ---- 文本摘要是从一个源文档中
网络安全一直以来是人类智慧和经验高度凝结的领域，也是很多科幻电影中人类对抗外星种族或邪恶机器最后的防线。当有一天人工智能开始获得了人类黑客的行为方式后会发生什么？
Xfer 是一款针对 MXNet 的迁移学习，为适那些希望达到以下目的的从业者与研究人员而设计：
欢迎来到图神经网络的世界，在这里我们在图上构建深度学习模型。你可以认为这很简单。毕竟，我们难道不能重用使用正常数据的模型吗? 其实不是。在图中所有的数据点(节点)是相互连接的。这意味着数据不再是独立的
但在人工构建的标准的神经网络中，所使用的计算量随着输入的大小而增长，与所学习问题的复杂性无关。
近年来，人工智能（AI）推动了高性能自动学习技术的发展。但是，这些技术通常是逐个任务应用的，这意味着为一个任务训练的智能代理在其他任务（甚至非常相似的任务）上的执行效果会很差。为了克服这个问题，列日大学（ULiège）的研究人员开发了一种基于生物学机制的新算法，称为神经调节。该算法可以创建能够执行训练期间未遇到的任务的智能代理。这个新颖而卓越的结果将在本周的《PLOS ONE》杂志上发表。
场景描述：近日，朝鲜媒体《统一的回声》发布刊文，介绍了新开发的自研智能蓝天手机。文章中称，该款手机处理速度快，支持人脸识别和指纹解锁等功能。据朝鲜媒体早前报道，该智能手机的人脸识别功能，是由朝鲜的顶级学府金日成综合大学开发而来的。那么这项技术究竟是什么水准？此外，朝鲜国内的 AI 发展又是怎样一个局面？
本论文介绍的DeepProlog是一种概率逻辑编程语言，通过神经谓词和深度学习结合起来。我们将展示现有的推理和正在学习的技术将如何适应新的语言。我们的实验表明，DeepProblog支持符号和子符号的表示和推理，程序的归结，概率逻辑规划，从样例中学习。据我们所知，这项工作首先提出了一个能把通用神经网络和表达概率逻辑建模和推理以某种方式结合的框架，从而有更强的表达能力和两种框架的优点，并且可以基于样例进行端到端的训练。
AI科技评论按：在围棋和Atari游戏、图像识别与语言翻译等领域，神经网络都取得了巨大的成功。但经常被忽视的一点是，神经网络在这些特定应用中的成功往往取决于研究开始时做出的一系列选择，包括：使用何种类型的网络、用于训练的数据和方法等。目前，这些选择（又称为超参数）是通过经验，随机搜索或计算密集型搜索过程来选择的。如何选择参数和调参往往成为训练神经网络的关键问题。 AI科技评论发现，在DeepMind最近一篇名为《Population Based Training of Neural Network》的论文中
AutoML和神经结构搜索(NAS)是深度学习城堡的新国王。它们是一种快速的方法，可以在不需要太多工作的情况下为机器学习任务获得很高的准确性。
本文是一个通过模拟预测股票，教会大家如何动手操作TensorFlow的教程，结果不具有权威性。因为股票价格的实际预测是一项非常复杂的任务，尤其是像本文这种按分钟的预测。 导入并预处理数据 我们的团队从我们的抓取服务器中的数据并csv格式的保存。数据集包含n = 41266分钟的数据，从2017年4月到8月，500只股票，以及标准普尔500指数成份股。指数和股票以宽格式排列。 数据集：http://files.statworx.com/sp500.zip # Import data data= pd.read
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
