自然语言处理的常用方法是循环神经网络。所以接下来会从 character RNN 开始(预测句子中出现的下一个角色),继续介绍RNN,这可以让我们生成一些原生文本,在过程中,我们会学习如何在长序列上创建TensorFlow Dataset。先使用的是无状态RNN(每次迭代中学习文本中的随机部分),然后创建一个有状态RNN(保留训练迭代之间的隐藏态,可以从断点继续,用这种方法学习长规律)。然后,我们会搭建一个RNN,来做情感分析(例如,读取影评,提取评价者对电影的感情),这次是将句子当做词的序列来处理。然后会介绍用RNN如何搭建编码器-解码器架构,来做神经网络机器翻译(NMT)。我们会使用TensorFlow Addons项目中的 seq2seq API 。
在涉及有序数据序列的问题中,例如时间序列预测和自然语言处理,上下文对于预测输出非常有价值。可以通过摄取整个序列而不仅仅是最后一个数据点来确定这些问题的上下文。因此,先前的输出成为当前输入的一部分,并且当重复时,最后的输出结果是所有先前输入的结果以及最后一个输入。 循环神经网络(RNN)架构是用于处理涉及序列的机器学习问题的解决方案。
前言 好久没有更新专栏,今天我们来看一个简单的Seq2Seq实现,我们将使用TensorFlow来实现一个基础版本的Seq2Seq,主要帮助理解Seq2Seq中的基础架构。 最基础的Seq2Seq模型
知乎专栏:机器不学习 作者:天雨栗 | 蚂蚁金服 | 数据算法 已授权刊登 前言 好久没有更新专栏,今天我们来看一个简单的Seq2Seq实现,我们将使用TensorFlow来实现一个基础版本的Seq2Seq,主要帮助理解Seq2Seq中的基础架构。 最基础的Seq2Seq模型包含了三个部分,即Encoder、Decoder以及连接两者的中间状态向量,Encoder通过学习输入,将其编码成一个固定大小的状态向量S,继而将S传给Decoder,Decoder再通过对状态向量S的学习来进行输出。 图中每一
原文链接:The Good, Bad, & Ugly of TensorFlow 作者:Dan Kuster 译者:刘翔宇 审校:赵屹华 责编:周建丁(zhoujd@csdn.net) 自从TensorFlow半年前发布以来,我们一直使用它来进行日常研究和工程。在此过程中我们也学习到了很多知识。是时候写一些新体会了! 因为TensorFlow上没有很多主观的文章和有用的文档,我必须尽可能地使用我能找到的样例、教程、文档和代码片段。 善 社区参与是最重要的。 当涉及到机器学习时,很容易把注意力集中于技术
这个错误通常是由于输入数据的形状与定义的模型输入的形状不匹配所导致的。这篇文章将介绍如何解决这个错误,并对问题的背景和解决步骤进行详细说明。
选自arXiv 作者:Ilia Karmanov等 机器之心编译 参与:路雪、刘晓坤、白妤昕 深度学习框架就像语言一样:很多人会说英语,但每种语言都有自己的特殊性。作者为几种不同的网络结构创建了通用代码,并可在多个不同的框架中使用。 repo 1.0 完整版 GitHub 地址:https://github.com/ilkarman/DeepLearningFrameworks 我们的想法是创建一个深度学习框架的罗塞塔石碑(Rosetta Stone):假设你很了解某个深度学习框架,你就可以帮助别人使用任何
【新智元导读】谷歌日前推出深度学习动态图计算工具 TensorFlow Fold,可以根据不同结构的输入数据建立动态的计算图,简化训练阶段输入数据的预处理过程,提升系统运行效率。为了方便大家了解 TensorFlow Fold 的特性,本文将会为大家厘清有关动态图计算的一些概念,对比介绍 DyNet、PyTorch 和 TensorFlow 等框架的特性,重点讲解TensorFlow Fold 的核心算法和接口。 随着深度学习的发展,深度学习框架之间竞争也日益激烈,新老框架纷纷各显神通,想要在广大 Deep
【导语】TensorFlow 1.8.0 近日正式发布,新版本主要有以下改进内容,AI科技大本营对其编译如下。 ▌主要特点及改进 可以将 tf.contrib.distribute.MirroredStrategy() 传递给 tf.estimator.RunConfig() ,能够在一台有多个 GPU 的机器上运行评估器 (Estimator) 模型。 添加 tf.contrib.data.prefetch_to_device() ,支持预取 GPU 内存。 添加梯度提升树作为预先制作的评估器(Esti
前一篇讲解了TensorFlow如何保存变量和神经网络参数,通过Saver保存神经网络,再通过Restore调用训练好的神经网络。本文将详细讲解循环神经网络RNN和长短期记忆网络LSTM的原理知识,并采用TensorFlow实现手写数字识别的RNN分类案例。
来源:https://zhuanlan.zhihu.com/p/25216368
前言 最近看完了 LSTM 的一些外文资料,主要参考了 Colah 的 blog以及 Andrej Karpathy blog的一些关于 RNN 和 LSTM 的材料,准备动手去实现一个 LSTM 模型。代码的基础框架来自于 Udacity 上深度学习纳米学位的课程(付费课程)的一个 demo,我刚开始看代码的时候真的是一头雾水,很多东西没有理解,后来反复查阅资料,并我重新对代码进行了学习和修改,对步骤进行了进一步的剖析,下面将一步步用 TensorFlow 来构建 LSTM 模型进行文本学习并试图去生
从本专栏开始,作者正式研究Python深度学习、神经网络及人工智能相关知识。前一篇文章分享了卷积神经网络CNN原理,并通过Keras编写CNN实现了MNIST分类学习案例。这篇文章将详细讲解循环神经网络RNN的原理知识,并采用Keras实现手写数字识别的RNN分类案例及可视化呈现。基础性文章,希望对您有所帮助!
上一篇中我们较为详细地铺垫了关于RNN及其变种LSTM的一些基本知识,也提到了LSTM在时间序列预测上优越的性能,本篇就将对如何利用tensorflow,在实际时间序列预测任务中搭建模型来完成任务,若你对RNN及LSTM不甚了解,请移步上一篇数据科学学习手札39;
为了了解图像识别,小编阅读了很多文章,并将其中一篇英文文献翻译出来,重现文献中的实践步骤,而这篇推文则是小编翻译原文并重现的成果(魔术师提供文献相关的所有技术资料,公众号后台回复【图像识别】,即可获取源代码下载链接~~)
来源:云栖社区 作者:Pavel Surmenok 本文长度为2600字,建议阅读5分钟 本文帮助你理解神经网络的应用,并使用TensorFlow解决现实生活中的问题。 如果你一直关注数据科学/机器学
聊天机器人是“通过听觉或文本方法进行对话的计算机程序”,苹果的Siri, 微软的Cortana, 谷歌助手和亚马逊的Alexa是当下最流行的四种会话代理,它们能帮助你获得出行路线,检查运动项目的得分,给你通讯录里的人打电话并且可能会意外地让你订购一个$170的玩偶屋。 这些产品都有听觉接口,会话代理通过语音信息与你对话。在这篇文章中,我们将更多地关注只采用文本操作的聊天机器人。Facebook一直在大力投资FB Messenger机器人,它允许小型企业和组织创建机器人来提供用户支持和提出问题。聊天机器人已经
Keras 是一个高级的 (high-level) 深度学习框架,作者是 François Chollet。Keras 可以以两种方法运行:
前言 文本分类任务是一个经久不衰的课题,其应用包括垃圾邮件检测、情感分析等。 传统机器学习的做法是先进行特征工程,构建出特征向量后,再将特征向量输入各种分类模型(贝叶斯、SVM、神经网络等)进行分类。 随着深度学习的发展以及RNN、CNN的陆续出现,特征向量的构建将会由网络自动完成,因此我们只要将文本的向量表示输入到网络中就能够完成自动完成特征的构建与分类过程。 就分类任务而言,CNN比RNN更为合适。CNN目前在图像处理方向应用最为广泛,在文本处理上也有一些的应用。本文将参考 Denny Brit
IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW
相信大家经过之前几篇文章的学习,已经对人工智能以及它和Keras的关系有了基本的认识,那么我们即将正式开始对于Keras的学习。
如果你正在读这篇文章,你可能接触过神经网络和TensorFlow,但是你可能会对与深度学习相关的各种术语感到有点畏缩,这些术语经常在许多技术介绍中被掩盖或未被解释。本文将深入介绍TensorFlow 2.0的初学者教程,从而让大家对其中的一些主题有所了解。
原文:Medium 作者:Shiyu Mou 来源:机器人圈 本文长度为4600字,建议阅读6分钟 本文为你介绍图像分类的5种技术,总结并归纳算法、实现方式,并进行实验验证。 图像分类问题就是从固定的一组分类中,给输入图像分配标签的任务。这是计算机视觉的核心问题之一,尽管它看似简单,却在实际生活中有着各种各样的应用。 传统方式:功能描述和检测。 也许这种方法对于一些样本任务来说是比较好用的,但实际情况却要复杂得多。 因此,我们将使用机器学习来为每个类别提供许多示例,然后开发学习算法来查看这些示例
第一部分:启动一个深度学习项目 1. 应该选择什么样的项目? 很多人工智能项目其实并没有那么严肃,做起来还很有趣。2017 年初,我着手启动了一个为日本漫画上色的项目,并作为我对生成对抗网络 ( GAN ) 研究的一部分。这个问题很难解决,但却很吸引人,尤其是对于我这种不会画画的人来说!在寻找项目时,不要局限于增量性改进,去做一款适销对路的产品,或者创建一种学习速度更快、质量更高的新模型。 2. 调试深度网络(DN)非常棘手 训练深度学习模型需要数百万次的迭代,因此查找 bug 的过
在本节中,我们将研究许多人工神经网络(ANN)应用。 这些包括图像识别,神经风格迁移,文本风格生成,时尚识别以及电影评论的 IMDb 数据库的语义分析。
较深层的梯度计算为多层网络中许多激活函数梯度的乘积。当这些梯度很小或为零时,它很容易消失。另一方面,当它们大于 1 时,它可能会爆炸。因此,计算和更新变得非常困难。
人工神经网络利用了 DL 的概念 。它们是人类神经系统的抽象表示,其中包含一组神经元,这些神经元通过称为轴突的连接相互通信。
如果你一直关注数据科学/机器学习,你就不能错过深度学习和神经网络的热潮。互联网公司正在寻找这方面的人,而且从竞赛到开源项目,都有巨额奖金。 如果你对深度学习所提供的前景感到兴奋,但是还没有开始,在这里或许是你开始的第一步。 在这篇文章中,我将介绍TensorFlow。阅读本文后,你将能够理解神经网络的应用,并使用TensorFlow解决现实生活中的问题,本文中的代码是用Python编写的,Python最近的火爆也和深度学习有关。 何时使用神经网络? 有关神经网络和深度学习的更详细的解释, 请看这里(ht
【新智元导读】谷歌今天公布了一个用 TensorFlow 构建神经机器翻译(NMT)系统的教程,全面解释 seq2seq 模型,并演示如何从零开始构建 NMT 翻译模型。这个教程从 NMT 的背景知识讲起,详细讲解如何构建并训练一个 NMT 模型,并提供代码,绝对有用。 机器翻译——自动在两种语言之间进行翻译的任务——是机器学习中最活跃的研究领域之一。在多种机器翻译方法中,序列到序列(“seq2seq”)模型最近取得了巨大的成功,并已经成为大多数商业翻译系统的事实上的标准,例如谷歌翻译。这是由于 seq2s
张量形状不匹配是深度神经网络机器学习过程中会出现的重要错误之一。由于神经网络训练成本较高且耗时,在执行代码之前运行静态分析,要比执行然后发现错误快上很多。
图像识别是当今深度学习的主流应用,而Keras是入门最容易、使用最便捷的深度学习框架,所以搞图像识别,你也得强调速度,不能磨叽。本文让你在最短时间内突破五个流行网络结构,迅速达到图像识别技术前沿。
翻译自博客:IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW 原博文:http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ github:https://github.com/dennybritz/cnn-text-classification-tf 在这篇文章中,我们将实现一个类似于Kim Yoon的卷积神经网络语句分类
神经网络被用作深度学习的方法,深度学习是人工智能的许多子领域之一。它们大约在70年前首次提出,试图模拟人类大脑的工作方式,尽管它的形式要简化得多。各个“神经元”分层连接,分配权重以确定当信号通过网络传播时神经元如何响应。以前,神经网络在他们能够模拟的神经元数量上受到限制,因此他们可以实现学习的复杂性。但近年来,由于硬件开发的进步,我们已经能够构建非常深的网络,并在大量数据集上训练它们以实现机器智能的突破。
机器之心原创 作者:吴攀、李亚洲 当地时间 3 月 8 日-10 日,Google Cloud NEXT '17 大会在美国旧金山举行。谷歌在本次大会上正式宣布了对数据科学社区 Kaggle 的收购并宣布了多个重量级云 API。机器之心作为受邀媒体也在第一时间从现场发回了报道:《现场直击 | 李飞飞首度亮相谷歌云大会:发布全新 API,解读 AI 民主化》和《现场直击 | 谷歌云大会最后一天解读开放性:从 TensorFlow 开源到开放云平台》。而作为开发者,最关心的则莫过于本次大会中各种更加详细和专一的
你知道吗?在 iOS 设备上也可以直接训练 LeNet 卷积神经网络,而且性能一点也不差,iPhone 和 iPad 也能化为实实在在的生产力。
图像描述(Image Captioning)是将图像转化为自然语言描述的任务,它结合了计算机视觉和自然语言处理的技术。图像描述算法的应用广泛,包括机器人视觉、自动驾驶、无人机导航等领域。本文将介绍一种基本的图像描述算法,并使用Python和深度学习框架TensorFlow实现。
在传统软件工程中,程序问题(即Bugs)会导致程序崩溃,但开发人员可以通过检查错误来了解原因。
情感分析是一种流行的文本分析技术,用来对文本中的主观信息进行自动识别和分类。它被广泛用于量化观点、情感等通常以非结构化方式记录的信息,而这些信息也因此很难用其他方式量化。情感分析技术可被用于多种文本资源,例如调查报告、评论、社交媒体上的帖子等。
选自Medium 作者:Jonathan Hui 机器之心编译 在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。 本文由六大部分组成,涵盖深度学习 ( DL ) 项目的整个过程。我们将使用一个自动漫画着色项目来说明深度学习的设计、程序调试和参数调整过程。 本文主题为「如何启动一个深度学习项目?」,分为以下六个部分: 第一部分:启动一个深度学习项目 第二部分:创建一个深度学习数据集 第三部分:设计深度模型 第四部分
它由节点层组成,其中每个节点连接到上一层的所有输出,每个节点的输出连接到下一层节点的所有输入。
选自Medium 机器之心编译 参与:蒋思源、黄小天、吴攀 图像分类是人工智能领域的基本研究主题之一,研究者也已经开发了大量用于图像分类的算法。近日,Shiyu Mou 在 Medium 上发表了一篇文章,对五种用于图像分类的方法(KNN、SVM、BP 神经网络、CNN 和迁移学习)进行了实验比较,该研究的相关数据集和代码也已经被发布在了 GitHub 上。 项目地址:https://github.com/Fdevmsy/Image_Classification_with_5_methods 图像分类,顾名
原项目 | https://github.com/aymericdamien/TensorFlow-Examples/
在学习了有关深度学习的理论之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
在学习了有关深度学习的理论课程之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
在图像领域,最流行的 building block 大多以卷积网络为主。上一篇我们介绍了转载|使用PaddleFluid和TensorFlow实现图像分类网络SE_ResNeXt。卷积网络本质上依然是一个前馈网络,在神经网络基本单元中循环神经网络是建模序列问题最有力的工具, 有着非常重要的价值。自然语言天生是一个序列,在自然语言处理领域(Nature Language Processing,NLP)中,许多经典模型都基于循环神经网络单元。可以说自然语言处理领域是 RNN 的天下。
《当人工智能遇上安全》系列博客将详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。该系列文章会更加聚焦,更加学术,更加深入,也是作者的慢慢成长史。换专业确实挺难的,系统安全也是块硬骨头,但我也试试,看看自己未来四年究竟能将它学到什么程度,漫漫长征路,偏向虎山行。享受过程,一起加油~
本文共1万+字,建议阅读10+分钟。 本文将会从第一步开始,教你解决项目开发中会遇到的各类问题。
导读:在学习了有关深度学习的理论之后,很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始,告诉你如何解决项目开发中会遇到的各类问题。
领取专属 10元无门槛券
手把手带您无忧上云