选自Medium 作者: Pranjal Yadav 机器之心编译 参与:Nurhachu Null、路雪 本文主要介绍了神经网络中的卷积神经网络,适合初学者阅读。 概述 深度学习和人工智能是 2016 年的热词;2017 年,这两个词愈发火热,但也更加容易混淆。我们将深入深度学习的核心,也就是神经网络。大多数神经网络的变体是难以理解的,并且它们的底层结构组件使得它们在理论上和图形上是一样的。 下图展示了最流行的神经网络变体,可参考这篇博客 (http://www.asimovinstitute.org/n
Transformer由论文《Attention is All You Need》提出,现在是谷歌云TPU推荐的参考模型。
机器学习(machine learning)是人工智能的一个特殊子领域,其目标是仅靠观察训练数据来自动开发程序[即模型(model)]。将数据转换为程序的这个过程叫作学习(learning)
【新智元导读】 斯坦福大学的新研究构建一个名为 NoScope 的深度学习视频对象检测系统,利用视频的局部性对 CNN 模型进行优化,相比当前性能最好的 YOLOv2 或 Faster R-CNN 速度加快了1000倍,同时仍保持高精度。这一系统在安防、交通等领域有着巨大的应用价值和潜力。 视频数据正在爆炸性地增长——仅英国就有超过400万个CCTV监控摄像头,用户每分钟上传到 YouTube 上的视频超过300小时。深度学习的最新进展已经能够自动分析这些海量的视频数据,让我们得以检索到感兴趣的事物,检测到
这篇文章主要介绍 Z. Dai 等人的论文 CoAtNet: Marrying Convolution and Attention for All Data Sizes。(2021 年)。
【导读】人脸识别技术已经有了非常广泛的应用,国内大规模监控系统背后运用的技术就是人脸识别。
本文是我之前写过的一篇基于推特数据进行情感分析的文章(https://ahmedbesbes.com/sentiment-analysis-on-twitter-using-word2vec-and-keras.html)的延伸内容。那时我建立了一个简单的模型:基于 keras 训练的两层前馈神经网络。用组成推文的词嵌入的加权平均值作为文档向量来表示输入推文。
代码:https://github.com/SharifElfouly/vehicle-speed-estimation
本文介绍了卷积神经网络在计算机视觉中的重要性,从浅层卷积神经网络开始,通过分析卷积神经网络的参数、卷积层、池化层、全连接层、ReLU层、案例研究和趋势等方面,深入探讨了卷积神经网络在计算机视觉中的具体应用和操作方法。
卷积神经网络(或简称CNN)是提取“可学习特征”的常用方法。CNN在深度学习和神经网络的发展与普及中发挥了重要作用。
选自arXiv 机器之心编译 参与:Jane W,吴攀 印度理工学院 Akshay Kumar Gupta 近日发布了一篇论文,对视觉问答方面的数据集和技术进行了盘点和比较。机器之心对本文内容进行
In terms of Neural Networks and Deep Learning: 卷积在神经网络和深度学习方面的特征:
早在三月份,就开放了实施“具有池化或跨越层的CNN的快速密集特征提取”,虽然未广为人知,但2017年BMVC发表的论文提供了一种高效优雅的解决方案,可以避免在使用时避免计算冗余基于补丁的卷积神经网络。因此在这篇文章中,将解释该模型的工作原理,并展示如何在实际应用程序中使用它。
MCNN是CVPR2016年的一篇论文中提出的一种神经网络。在论文中,作者提出了一种简单而有效的多列卷积神经网络架构(Multi-column Convolutional Neural Network, MCNN),通过使用大小不同的卷积核去适应人的头部大小的变化,将图片映射为人群密度图。
预测安全的无碰撞轨迹是阻碍自动驾驶汽车在公共道路上全面普及的最大挑战。虽然利用机器学习方法最近在自动驾驶运动预测方面取得了一些进展,但该领域仍处于早期阶段,需要进一步开发更有效的方法以准确地估计周围物体的未来状态。
模型需要知道输入数据的shape,因此,Sequential的第一层需要接受一个关于输入数据shape的参数,后面的各个层则可以自动的推导出中间数据的shape,因此不需要为每个层都指定这个参数。有几种方法来为第一层指定输入数据的shape
前面介绍NLP领域词向量技术的时候提到了目前最炙手可热的语言模型BERT,而BERT之所以能取得这样的瞩目成就,离不开其采用的超强特征提取器Transformer。
Inception 网络是CNN分类器发展史上一个重要的里程碑。在 Inception 出现之前,大部分流行 CNN 仅仅是把卷积层堆叠得越来越多,使网络越来越深,以此希望能够得到更好的性能。
对神经网络进行可视化分析不管是在学习上还是实际应用上都有很重要的意义,基于此,本文介绍了3种CNN的可视化方法:可视化中间特征图,可视化卷积核,可视化图像中类激活的热力图。每种方法均附有相关代码详解。
为什么我们需要再次计算一个深度学习模型中的参数数量?我们没有那样去做。然而,当我们需要减少一个模型中的文件大小甚至是减少模型推理的时间时,我们知道模型量化前后的参数数量是派得上用场的。(请点击原文查阅深度学习的高效的方法和硬件的视频。)
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 打造一个自动驾驶控制系统需要多少个神经元? MIT的科学家告诉你,最少只要19个!方法是向线虫这种初等生物学习。 最近,来自MIT CSAIL、维也纳工业大学、奥地利科技学院的团队已经开发了一种基于线虫大脑的新型AI系统。研究成果登上了最近的《自然·机器智能》杂志。 他们发现,具有19个控制神经元的单个算法,通过253个突触将32个封装的输入特征连接到输出,可以学习把高维输入映射到操纵命令。 这种新的AI系统用少量人工神经元控制车辆转向。而基于
在统计学和机器学习中,组合使用多种学习算法往往比单独的任何的学习算法更能获得好的预测性能。与统计力学中的统计集成不同(通常是无穷大),机器学习的集成由具体的有限的替代模型集合构成,但通常在这些备选方案中存在更灵活的结构。 使用集成主要是为了找到一个不一定包含在它所建立的模型的假设空间内的假设。从经验来看,当模型之间存在差异显著时,集成通常会产生更好的结果。 动机 如果你看过一些大型机器学习竞赛的结果,你很可能会发现,最好的结果是往往是由集成模型取得而不是由单一模型来实现。例如,ILSVRC2015(201
你的预测建模问题适合选择何种神经网络?对于初学者而言,深度学习领域很难知道要使用什么类型的网络。因为有许多类型的网络可供选择,每天都会有新的方法被发布和讨论。
随着样本制备技术和显微成像技术的快速发展,细胞图像的定量处理和分析在医学和细胞生物学等领域中发挥着重要作用。基于卷积神经网络(CNN),通过神经网络训练可以学习不同细胞图像的特征信息,具有较强的泛化性能。两阶段R-CNN系列及其一阶段变体是经典的基于CNN的实例分割任务框架。
选自arXiv 作者:Shuai Li等 机器之心编译 参与:张倩、黄小天 近日,澳大利亚伍伦贡大学联合电子科技大学提出一种新型的循环神经网络 IndRNN,不仅可以解决传统 RNN 所存在的梯度消失和梯度爆炸问题,还学习长期依赖关系;此外,借助 relu 等非饱和激活函数,训练之后 IndRNN 会变得非常鲁棒,并且通过堆叠多层 IndRNN 还可以构建比现有 RNN 更深的网络。实验结果表明,与传统的 RNN 和 LSTM 相比,使用 IndRNN 可以在各种任务中取得更好的结果。同时本文还给出了 In
BERT6mA: prediction of DNA N6-methyladenine site using deep learning-based approaches 论文摘要:
AI科技评论按:虽然CVPR 2017已经落下帷幕,但对精彩论文的解读还在继续。下文是宜远智能的首席科学家刘凯对此次大会收录的《结合序列学习和交叉形态卷积的3D生物医学图像分割》(Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation)一文进行的解读。 3D医学图像的切割的背景 3D医学图像的切割是医学图像处理里一个非常重要的工作,比如脑部MRI数据、肺CT数据和X光数据等等。现在大多数的3D
注:本文首发在微信公众号-极市平台。如需转载,请联系微信Extreme-Vision
【新智元导读】在许多任务中,神经网络越深,性能就越好。最近几年神经网络的趋势是越来越深。几年前最先进的神经网络还仅有12层深,现在几百层深的神经网络已经不是稀奇事了。本文中作者介绍了三个非常深的神经网络,分别是ResNet、HighwayNet和DenseNet,以及它们在Tensorflow上的实现。作者用CIFAR10数据集训练这些网络进行图像分类,在一小时左右的训练之后均实现了90%以上的精度。 神经网络设计的趋势:Deeper 谈到神经网络设计,最近几年的趋势都指向一个方向:更深。几年前最先进的神经
机器之心原创 作者:蒋思源 本文讨论并实现了用于序列模型的基本深度方法,其中循环网络主要介绍了传统的 LSTM 与 GRU,而卷积网络主要介绍了最近 CMU 研究者提出的时间卷积网络与实证研究。相比于我们熟知的经典循环网络方法,用 CNN 实现序列建模可能会更有意思,因此本文的实现部分重点介绍了时间卷积网络的实现。 这是机器之心 GitHub 实现项目的第四期,前面几期分别介绍了卷积神经网络、生成对抗网络与带动态路由的 CapsNet。 机器之心项目地址:https://github.com/jiqizhi
“GoogleNet和VGG是ImageNet挑战赛中的第一名和第二名。共同特点就是两个网络的层次都更深了。”
Sentinel 2 是一个卫星系统,可提供地球表面的高分辨率多光谱图像。这些图像包含大量信息,可用于监测土地利用、植被、水资源和许多其他环境因素的变化。分析 Sentinel 2 图像可能是一项艰巨的任务,但在 ChatGPT 和 Python 的帮助下,它可以变得更加简单和高效。在本文中,我们将讨论如何使用 ChatGPT 分析 Sentinel 2 图像,我们将提供一些 Python 示例代码以帮助您入门。本文中的代码是由 chatGPT 创建的。
Transformer架构在机器学习领域(尤其是NLP里)是一项热门研究,为我们带来了许多重要成果,比如:GPT-2、GPT-3等写稿机器人;第一代GPT及其性能更优越的“继任者”BERT模型,在众多语言理解任务中以前所未有的数据利用效率获得了最准确的结果,而且几乎不需要调整任何参数,也就是在过去花费一个月做的事情、现在只需要花费30分钟,还达到了更好的效果;以及AlphaStar等。
这些方法依赖于从一段文本中提取几个部分,比如短语和句子,然后将它们堆在一起创建摘要。因此,在提取方法中,识别出用于总结的正确句子是至关重要的。让我们通过一个例子来理解这一点。
深度学习的概念源于人工神经网络的研究,含有多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示,以表征数据的类别或特征。它能够发现数据的分布式特征表示。深度学习是机器学习的一种,而机器学习是实现人工智能的必经之路。
在这篇文章中,提出了 SDC-UDA,一种简单而有效的用于连续切片方向的跨模态医学图像分割的体积型 UDA 框架,它结合了切片内和切片间自注意力图像转换、不确定性约束的伪标签优化和体积型自训练。与以前的医学图像分割 UDA 方法不同之处在于它可以获得切片方向上的连续分割(这一点有点重要,因为往往临床上都是一个 3D 数据,而直接处理 3D 数据又需要很大的计算资源),从而确保更高的准确性和临床实践中的潜力。
深度学习基础理论-CNN篇 卷积神经网络的发展历程 - 01 - 卷积神经网络(Convolutional Neural Networks,简称CNN)是一类特殊的人工神经网络,区别于神经网络其
来源商业新知网,原标题:从机器翻译到阅读理解,一文盘点PaddlePaddle官方九大NLP模型
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号:datayx 任务 给定微博ID和微博内容,设计算法对微博内容进行情绪识别,判断微博内容是积极的、消极的还是中性的。 全部 代码 ,方案详情 获取方式: 关注微信公众号 datayx 然后回复 情绪识别 即可获取。 A榜第二,B榜第一方案 1.数据处理 我们把数据编码转换为utf-8,把所有英文标点符号转换为中文标点符号,繁体转换为简体。把数据划分为5折。 使用训练集、测试集和90万条语料训练GloVe词向量,在分词阶段把
自然语言处理(NLP)主要是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。基于神经网络的深度学习技术具有强大的表达能力、端到端解决问题的能力,因而在NLP任务的应用上越来越广泛和有效。
这是前一篇文章的继续,在这第篇文章中,我们将讨论纹理分析在图像分类中的重要性,以及如何在深度学习中使用纹理分析。
(第一部分 机器学习基础) 第01章 机器学习概览 第02章 一个完整的机器学习项目(上) 第02章 一个完整的机器学习项目(下) 第03章 分类 第04章 训练模型 第05章 支持向量机 第06章 决策树 第07章 集成学习和随机森林 第08章 降维 (第二部分 神经网络和深度学习) 第9章 启动和运行TensorFlow 第10章 人工神经网络 第11章 训练深度神经网络(上) 第11章 训练深度神经网络(下) 第12章 设备和服务器上的分布式 TensorFlow 第13章 卷积神经网络
第13章 卷积神经网络 来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@akonwang @WilsonQu 校对: @飞龙 尽管 IBM 的深蓝超级计算机在1996年击败了国际象棋世界冠军 Garry Kasparvo,直到近几年计算机都不能可靠地完成一些看起来较为复杂的任务,比如判别照片中是否有狗以及识别语音。为什么这些任务对于人类而言如此简单?答案在于感知主要发生在我们意识领域之外,在我们大脑中的专门视觉,听觉和其他感官模块内。当感官信
在本文中,我们将介绍三种提高循环神经网络性能和泛化能力的高级技术。我们演示有关温度预测问题的三个概念,我们使用建筑物屋顶上的传感器的时间数据序列。
将这些架构绘制成节点图的一个问题:它并没有真正展示这些架构的工作方式。比如说,变自编码器(VAE)可能看起来和自编码器(AE)一样,但其训练过程却相当不同。训练好的网络的使用案例之间的差别甚至更大,因为 VAE 是生成器(generator),你可以在其中插入噪声来得到新样本;而 AE 只是简单地将它们的输入映射到其所「记得」的最接近的训练样本。所以必须强调:这篇概览中的不同节点结构并不能反映出这些架构的内在工作方式。 列出一份完整的列表实际上是不可能的,因为新架构一直在不断出现。即使已经发表了,我们
领取专属 10元无门槛券
手把手带您无忧上云