“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。
由康奈尔大学运营维护着的arXiv网站，是一个在学术论文还未被出版时就将之向所有人开放的地方。这里汇聚了无数科学领域中最前沿的研究，机器学习也包括在内。它反映了学术界当前的整体趋势，我们看到，近来发布
大数据文摘作品，转载要求见文末 作者：Carlos E. Perez 编译 | saint，一针 牛津大学的机器学习先驱Nando de Freitas刚刚在自己的最新推文中推荐了这篇关于“深度学习怪圈”的文章。本文作者将人类自我认知的怪圈与深度学习的算法怪圈相联系，“自我创造”这一似乎是“人类思想”独有的属性，似乎正在成就一些难以置信的深度学习成果。 最终，我们将自我觉知、自我创造，陷入自我参照的小小奇迹幻影中。而这种自我参照的机制，如同描述思想独有的属性。 — Douglas Hofstadter 怪
内容来源：2018 年 01 月 05 日，资深算法专家张俊林在“2018 移动技术创新大会”进行《深度学习在CTR预估业务中的应用》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
论文地址：https://arxiv.org/pdf/2005.05528.pdf
这就是陈怡然团队提出的复数神经网络（CVNN），论文已被机器学习顶会ICML接收。
只要我们一睁开眼，就能立刻看到周围的环境，这个辨认过程非常快，而且即使身处一个杂乱的环境，我们的眼睛也能辨别出每一个细节。视觉系统不仅可以检测和识别物体，而且可以推断出深层次的场景结构。
机器人是否需要专用的芯片支持？要想开发机器人芯片，首先必须弄清楚是否有这方面的需求。一方面，尽管今天能实用的机器人数量还比较少，但在可预期的未来，很多人相信会诞生一批经济适用、量大面广的现象级产品，就像无人机、无人车一样，由于其功能的丰富，其总数量甚至会达到百亿级，超过个人电脑、手机的数量。如此庞大的应用空间，按照过去计算机的发展经验，必然伴生孕育着新型计算系统，所以未来机器人系统需要芯片这一点比较肯定。接着，另外一个问题，是否需要设计专用芯片？今天现行的如CPU、DSP、GPU、神经网络或他们的组合是否就够用了？这个问题还需要从机器人的功能角度出发去分析。一方面，我们会赋予机器人更多的智能能力，使他能够听说看甚至决策；另一方面，机器人也将具有越来越强运动能力。而这些都是现行芯片所解决不好的，我们认为今天机器人无法大规模普及，和他们的能力不足直接相关，而这种能力除了算法方面的改进外，性能的大幅提升也是必要的。因此，我们认为需要设计面向机器人的专用芯片，以解决机器人在应用中的若干问题，为未来机器人的大发展提供硬件基础。
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
1983年的电影“战争游戏”有一个令人难忘的高潮，即超级计算机WOPR(战争操作计划响应)被要求自行训练，以发现一个不可能获胜的游戏概念。Mathew Broderick扮演的角色在电影中问道:“有没
迁移学习是Google、Salesforce、IBM和Azure云服务商提供的托管AutoML服务的基础。它现在在最新的NLP研究中占据突出的地位——包括谷歌的BERT以及ULMFIT中有重要的作用。
导读：上一期了解一下人工智能时代，五大最具潜力的职业，今天我们来学习一下机器学习和数据科学的应用，对于企业的重要性，以及作者对于机器学习和数据科学的未来思考（文末更多往期译文推荐） 机器学习和人工智能
来自马里兰大学、马克斯·普朗克信息学研究所、Adobe的研究人员提出了一种新型纹理混合器Texture Mixer。
传统无刷直流电机安装的霍尔传感器增加了电机的体积和成本、可靠性低、抗干扰能力弱。因此提出了无刷直流电机无位置传感器控制策略，解决了传递霍尔传感器的弊端。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
近日，斯坦福 Jure Leskovec 和 Facebook 的何凯明等人提出了一种神经网络的新型的图表示法。该表示法有助于对神经网络的架构和预测性能有更深层的理解。这篇论文已经被 ICML 2020 收录。
前面的内容里我们介绍了循环神经网络的基本结构，这一小节里我们介绍几种更常用的循环神经网络的结构。
神经网络是一种由多个神经元按照一定的拓扑结构相互连接而成的计算模型。其灵感来自于人类大脑中神经元之间的相互作用。
一、神经网络 1、神经元概述 神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示： Sigmoid函数的区间为[0,1]，而tanh函数的区间为[−1,1]。 若是使
前馈神经网络不考虑数据之间的关联性，网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现，现实问题中存在着很多序列型的数据，例如文本、语音以及视频等。这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性，因为它没有记忆能力，所以前面时刻的输出不能传递到后面的时刻。
摘要：本篇从理论到实战详细介绍了目前很火的图神经网络GNN。首先介绍了背景，主要包括学习GNN的原因、GNN应用场景以及在我们业务中如何应用GNN；然后从理论详细介绍了GNN，包括GNN和Graph Embedding的关系、GNN的整体流程和分类以及GNN的经典模型GCN、GAT和GraphSAGE；最后在CORA数据集上基于开源框架tf_geometric实践了GAT模型。希望对于学习并将图神经网络GNN应用到实际业务场景的小伙伴可能有所帮助。
本系列为吴恩达老师《深度学习专项课程(Deep Learning Specialization)》学习与总结整理所得，对应的课程视频可以在这里查看。
本文是机器学习算法地图的下篇，系统地整理了深度学习算法，整张图的设计风格与机器学习算法地图保持一致。从去年底就开始酝酿深度学习算法地图，然而工程浩大。这张图是SIGAI算法工程师集体智慧的结晶，也是在研发SIGAI核心产品-简单易用的机器学习框架过程中的副产品。由于深度学习的算法变种太多，而且处于高速发展期，因此难免会有疏漏，后续版本将不断完善与优化。
卷积神经网络是深度学习中非常重要的一种神经网络模型，目前在图像识别、语音识别和目标检测等领域应用非常广泛。卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，使用反向传播(Back Propagation，BP)算法进行训练。
【AI科技大本营导读】深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词，但是对于这个领域的相关从业者或者科研学者来说，浅显的了解并不足够。近日，约克大学电气工程与计算机科学系的 Isma Hadji 和 Richard P. Wildes 发表了一篇《我们该如何理解卷积神经网络？》的论文：
神经网络（Neural Network）作为人工智能领域的重要分支，已经在许多应用中展现了其强大的能力。它模拟了生物神经网络的结构和功能，用于处理复杂的数据分析和决策任务。本文将介绍神经网络的基本概念及其工作原理，并讨论其与动物神经网络的关系。
今天给大家介绍的是来自斯坦福大学的Jure Leskovec课题组发表在ICML2020上的文章” Graph Structure of Neural Networks”。在本文中，作者系统地研究了神经网络的图结构如何影响其预测性能，并提出了一种新的基于图的神经网络表示方法称为“关系图”。
图灵对于人工智能的发展有诸多贡献，提出了一种用于判定机器是否具有智能的试验方法，即图灵试验，每年都有试验的比赛。此外，图灵提出的著名的图灵机模型为现代计算机的逻辑工作方式奠定了基础。
1 . 神经网络组成 : 由 一组 连接的 输入 和 输出单元 组成 , 每个连接都有一个 权值 ( 系数 ) ;
近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注．图神经 网络的出现使其在上述任务中取得了重大突破,比如在社交网络、自然语言处理、计算机视觉甚至生命 科学等领域得到了非常广泛的应用．图神经网络可以把实际问题看作图中节点之间的连接和消息传播 问题,对节点之间的依赖关系进行建模,从而能够很好地处理图结构数据．鉴于此,系统综述了图神经网络模型以及应用．首先从谱域、空间域和池化３方面对图卷积神经网络进行了阐述．然后,描述了基于注意 力机制和自编码器的图神经网络模型,并补充了一些其他方法实现的图神经网络．其次,总结了针对图 神经网络能不能做大做深等问题的讨论分析．进而,概括了图神经网络的４个框架．还详细说明了在图 神经网络在自然语言处理、计算机视觉等方面的应用．最后,对图神经网络未来的研究进行了展望和总 结．相较于已有的图神经网络综述文章,详细阐述了谱理论知识,并对基于谱域的图卷积神经网络体系 进行全面总结．同时,给出了针对空间域图卷积神经网络效率低的改进模型这一新的分类标准．并总结 了针对图神经网络表达能力、理论保障等的讨论分析,增加了新的框架模型．在应用部分,阐述了图神经 网络的最新应用．
现在的深度学习就是利用深度神经网络来进行模型训练。深度神经网络是神经网络的延续，而神经网络在几十年前则是一种机器学习模型。
来源：专知本文约5000字，建议阅读5分钟本文为你介绍了《图神经网络综述》。 中国石油大学《图神经网络最新》综述论文 近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注。图神经网络的出现使其在上述任务中取得了重大突破,比如在社交网络、自然语言处理、计算机视觉甚至生命 科学等领域得到了非常广泛的应用。图神经网络可以把实际问题看作图中节点之间的连接和消息传播 问题,对节点之间的依赖关系进行建模,从而能够很好地处理图结构数据。鉴于此,系统综述了图神经网络模型以及应用。首先从谱域、空间域和
一般的，神经网络模型基本结构按信息输入是否反馈，可以分为两种：前馈神经网络和反馈神经网络。
【新智元导读】深度学习的成功，使业内范式开始从特征设计转向架构设计。Google Brain 研究人员使用强化学习，从头开始生成神经网络架构。【论文地址：https://arxiv.org/pdf/1
【新智元导读】普林斯顿大学研究人员提出了一种会在训练过程中连接、生长、移除神经元的神经网络。这种神经网络使用梯度和神经元强弱来生长（grow）和修剪（prune），从而实现权重和结构的同时训练。此算法可同时实现神经网络结构的自动选择和超高效压缩。所取得的压缩率，所获得的神经网络模型均为当前业内最好纪录。 神经网络的结构对其性能有极其重要的影响。目前主流的神经网络结构搜索法仍然是试凑法，该方法存在三大问题： 训练过程中神经网络结构是固定的，训练并不能改善结构 时间和计算消耗巨大 生成的网络通常很冗余，计算和存
深度卷积神经网络是这一波 AI 浪潮背后的大功臣。虽然很多人可能都已经听说过这个名词，但是对于这个领域的相关从业者或者科研学者来说，浅显的了解并不足够。近日，约克大学电气工程与计算机科学系的 Isma Hadji 和 Richard P. Wildes 发表了一篇《我们该如何理解卷积神经网络？》的论文：
在前面的文章中，我们介绍了循环神经网络，它可以用来处理包含序列结构的信息。然而，对于诸如树结构、图结构等更复杂的结构，循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络：递归神经网络 (Recursive Neural Network, RNN)，以及它的训练算法BPTS (Back Propagation Through Structure)。顾名思义，递归神经网络（巧合的是，它的缩写和循环神经网络一样，也是RNN）可以处理诸如树、图这样的递归结构。
http://fcst.ceaj.org/CN/abstract/abstract2521.shtml
深度神经网络由神经元组成，组织成层并相互连接，通过计算图捕捉其架构，其中神经元表示为节点，有向边连接不同层神经元。神经网络性能取决于其架构，但目前对神经网络精度与底层图结构之间的关系尚缺乏系统理解。这直接影响到设计更高效和更精确的架构，并可告知新的硬件架构设计。建立神经网络架构与它精度之间的关系具有重要科学和实际意义，但尚不清楚如何将神经网络映射到图。计算图表示有许多局限性，如缺乏通用性、与生物学/神经科学脱节等。
深度学习是一种人工神经网络的应用，其应用范围包括自然语言处理、计算机视觉、语音识别等等。其中，卷积神经网络（Convolutional Neural Network，CNN）是一种应用广泛的图像识别模型，其用于解决计算机视觉领域中的图像分类、目标检测、图像分割等问题。本文将详细介绍卷积神经网络的原理、结构和应用。
在过去几年，深度学习已经在人工智能和机器学习上取得了成功，给社会带来了巨大的进步。深度学习的特点是堆积多层的神经网络层，从而具有更好的学习表示能力。卷积神经网络(convolutional neuralnetwork,CNN)的飞速发展更是将深度学习带上了一个新的台阶。
图神经网络由于其在处理非欧空间数据和复杂特征方面的优势，受到广泛关注并应用于推荐系统、知识图谱、交通道路分析等场景。
选自machine learning mastery 机器之心编译 参与：刘晓坤、蒋思源 深度学习正在给自然语言处理带来巨大的变革。但是，作为一个初学者，要从哪里起步才好呢？深度学习和自然语言处理都是很宽泛的领域。哪些方面才是最重要的，还有，深度学习又是从哪个层面深刻影响了 NLP 呢？ 看完这篇文章之后，你将会知道： 给自然语言处理领域带来最深刻影响的神经网络结构； 深度学习可以对自然语言处理的各个层面制定学习任务； 密集词汇表示的重要性和学习表示的方法。 让我们开始吧。 概览 这篇文章将分成 12
“深度学习”指的是训练神经网络，有时候规模很大，那么神经网络究竟是什么呢？在这个视频中，我会讲些直观的基础知识。
什么是神经网络？它是如何工作的？现在有哪些神经网络？有哪几种类型的神经网络可以用于自然语言处理？下面我们会一一解答这些问题。
目前，深度学习（Deep Learning，简称DL）在算法领域可谓是大红大紫，现在不只是互联网、人工智能，生活中的各大领域都能反映出深度学习引领的巨大变革。要学习深度学习，那么首先要熟悉神经网络（Neural Networks，简称NN）的一些基本概念。当然，这里所说的神经网络不是生物学的神经网络，我们将其称之为人工神经网络（Artificial Neural Networks，简称ANN）貌似更为合理。神经网络最早是人工智能领域的一种算法或者说是模型，目前神经网络已经发展成为一类多学科交叉的学科领域，它也随着深度学习取得的进展重新受到重视和推崇。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
