前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：
该文介绍了动态神经网络工具包DyNet，它可以在运行时构建、修改、删除神经网络，支持可变长度的输入、输出，支持运行时动态更改网络结构，支持分布式训练。
假设我们正在写一条信息“Let’s meet for___”，我们需要预测下一个单词是什么。下一个词可以是午餐、晚餐、早餐或咖啡。我们更容易根据上下文作出推论。假设我们知道我们是在下午开会，并且这些信息一直存在于我们的记忆中，那么我们就可以很容易地预测我们可能会在午餐时见面。
深度学习的概念源于人工神经网络的研究，含有多个隐藏层的多层感知器是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示，以表征数据的类别或特征。它能够发现数据的分布式特征表示。深度学习是机器学习的一种，而机器学习是实现人工智能的必经之路。
参考译文：https://blog.csdn.net/qq_28385535/article/details/86421359
这是我们在iki项目工作中的一系列技术文章中的第一篇，内容涵盖用机器学习和深度学习技术来解决自然语言处理与理解问题的一些应用案例。
作者：Sandeep Bhupatiraju 剧透警告：摩斯电码并不需要破解。它很有用，因为消息可以使用这些代码以最少的设备发送，并且我说它不需要破解，因为代码是众所周知的，点和破折号的组合并不是什么秘密。但是，从理论上讲，它是一种替代密码（substitution cipher）， 每个字母（和每个数字）的每个字母都有一些使用点和破折号的表示形式，如下所示。 让我们暂停我们的怀疑，并假设我们收到摩尔斯电码的消息，但我们不知道如何阅读它们。假设我们还有一些代码的例子及其相应的单词列表。现在，
本章我们将介绍 循环神经网络 Recurrent Neural Networks （RNNs），RNN的一大优点是为网络结构的搭建提供了很大的灵活性。通常情况下，我们提及的神经网络一般有一个固定的输入，然后经过一些隐藏层的处理，得到一个固定大小的输出向量（如下图左所示，其中红色表示输入，绿色表示隐藏层，蓝色表示输出，下同）。这种“原始”的神经网络接受一个输入，并产生一个输出，但是有些任务需要产生多个输出，即一对多的模型（如下图 one-to-many标签所示）。循环神经网络使得我们可以输入一个序列，或者输出一个序列，或者同时输入和输出一个序列。下面按照输入输出是否为一个序列对RNN进行划分，并给出每种模型的一个应用场景：
卷积神经网络（CNN）非常适合计算机视觉任务。使用对大型图像集（如ImageNet，COCO等）进行训练的预训练模型，可以快速使这些体系结构专业化，以适合独特数据集。此过程称为迁移学习。但是有一个陷阱！用于图像分类和对象检测任务的预训练模型通常在固定的输入图像尺寸上训练。这些通常从224x224x3到某个范围变化，512x512x3并且大多数具有1的长宽比，即图像的宽度和高度相等。如果它们不相等，则将图像调整为相等的高度和宽度。
本系列为 斯坦福CS231n 《深度学习与计算机视觉(Deep Learning for Computer Vision)》的全套学习笔记，对应的课程视频可以在 这里 查看。更多资料获取方式见文末。
0.Roadmap 1. 模型 | 语言模型与词嵌入 2. 模型 | LSTM 3. 盘点 | 那些顶级会议 4. 模型 | Seq2Seq 和 Attention机制 看上去和CV存在不小的差别。以我粗浅地理解，主要原因有以下两点： 1）对输入的处理不同。 我们知道，计算机不认识一个单词，不懂得它的意思，也不知道它和哪些词意思相关联，和另外哪些词经常一起出现。 所以，对于自然语言的处理需要首先将词语表示为向量的形式(Word2Vec, GloVe等)，再把一个个词向量拼接为句子(Recursive & R
这是与我们工作有关的一系列技术职务中的第一个。在iki项目中，涵盖了一些机器学习的应用案例和用于解决各种自然问题的深度学习技术的语言处理和理解问题。
原文作者：Andrej Karpathy 递归神经网络（RNNs）有一些不可思议的地方。我仍然记得我训练的第一个用于 图片字幕的递归网络。从花几十分钟训练我的第一个婴儿模型（相当随意挑选的超参数）开始，到训练出能够针对图像给出有意义描述的模型。有些时候，模型对于输出结果质量的简单程度的比例，会与你的期望相差甚远，而这还仅仅是其中一点。有如此令人震惊结果，许多人认为是因为RNNs非常难训练（事实上，通过多次试验，我得出了相反的结论）。一年前：我一直在训练RNNs，我多次见证了它们的强大的功能和鲁棒性，而且它们
检测效果图 题目：拥挤场景中的端到端人物检测 (推荐阅读英文原文) 文章地址：《End-to-end people detection in crowded scenes》 arXiv.1506.04878 Github：https://github.com/Russell91/ReInspect (未经允许禁止转载，授权转载请注明出处，谢谢！) ---- Abstract 目前的人物检测操作要么是以滑动窗口的方式扫描图像，或者通过分类一组离散的决策。我们提出了基于将图像解码成一组人物检测的模型。我
循环神经网络是一类人工神经网络，其中节点之间的连接可以创建一个循环，允许某些节点的输出影响对相同节点的后续输入。涉及序列的任务，如自然语言处理、语音识别和时间序列分析，非常适合 RNN。与其他神经网络不同，RNN 具有内部存储器，允许它们保留来自先前输入的信息，并根据整个序列的上下文做出预测或决策。
作者（三位Google大佬）一开始提出DNN的缺点，DNN不能用于将序列映射到序列。此论文以机器翻译为例，核心模型是长短期记忆神经网络（LSTM），首先通过一个多层的LSTM将输入的语言序列（下文简称源序列）转化为特定维度的向量，然后另一个深层LSTM将此向量解码成相应的另一语言序列（下文简称目标序列）。我个人理解是，假设要将中文翻译成法语，那么首先将中文作为输入，编码成英语，然后再将英语解码成法语。这种模型与基于短语的统计机器翻译(Static Machine Translation, SMT)相比，在BLUE(Bilingual Evaluation Understudy)算法的评估下有着更好的性能表现。同时，作者发现，逆转输入序列能显著提升LSTM的性能表现，因为这样做能在源序列和目标序列之间引入许多短期依赖，使得优化更加容易
今天学习的是剑桥大学的同学 2017 年的工作《GRAPH ATTENTION NETWORKS》，目前引用数量超过 1100 次。
本文结构： 什么是 seq2seq？ Encoder–Decoder 结构？ seq2seq 结构？ ---- 什么是 seq2seq？ seq2seq 是一个 Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 这个结构最重要的地方在于输入序列和输出序列的长度是可变的，可以用于翻译，聊天机器人，句法分析，文本摘要等。 下面是写过的 seq2s
SAE J1939在卡车领域得到了广泛的认可，由多个文档组成，描述了从物理层到诊断层以及应用层的通信协议层。 SAE J1939-21描述了数据链路和传输层，包括两种传输协议变体: 用于广播消息的BAM(广播宣布消息)，以及 CMDT(连接模式数据传输)用于点对点连接。
除了GCN，还有一种趋势是在传播步骤中使用诸如GRU或LSTM等RNN的门控机制，以减少来自基本GNN模型的限制并提高整个图上的长期信息传播。
递归神经网络（RNNs）有一些不可思议的地方。我仍然记得我训练的第一个用于图片字幕的递归网络。从花几十分钟训练我的第一个婴儿模型（相当随意挑选的超参数）开始，到训练出能够针对图像给出有意义描述的模型。有些时候，模型对于输出结果质量的简单程度的比例，会与你的期望相差甚远，而这还仅仅是其中一点。有如此令人震惊结果，许多人认为是因为RNNs非常难训练（事实上，通过多次试验，我得出了相反的结论）。一年前：我一直在训练RNNs，我多次见证了它们的强大的功能和鲁棒性，而且它们的输出结果同样让我感到有趣。这篇文章将会给你
编译 | AI科技大本营（rgznai100） 参与 | 史天 聊天机器人到底是什么呢？说白了，就是计算机程序通过听觉或文本方法进行对话。 当今最流行的四个对话机器人是：苹果的Siri、微软Cortana、谷歌助理、亚马逊的Alexa。他们能够帮你查比分、打电话，当然，偶尔他们也会出错。 本文，我们主要会详细介绍聊天机器人在文本方面的运作。 在这篇文章中，我们将看到如何使用深度学习模型训练聊天机器人用我们所希望的方式在社交媒体上进行对话。 意图&深度学习 如何训练一个高水平的聊天机器人呢？ 高水平的工作
GAIR 今年夏天，雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人峰会”（简称CCF-GAIR）。大会现场，谷歌，DeepMind，Uber，微软等巨头的人工智能实验室负责人将莅临深圳，向我们零距离展示国外人工智能震撼人心、撬动地球的核心所在。在此之前雷锋网将网罗全国顶尖的人工智能和机器人专家和各大公司的首席科学家，同这些国际大拿同台交流。如果你不想错过这个机会，请用邮件直戳我心，lizongren@leiphone.com 针对基于深度人物识别的递归注意力模型 协同编译：陈圳、章敏、Blake 摘
《Redis设计与实现》读书笔记（十八） ——Redis客户端属性设计与原理 （原创内容，转载请注明来源，谢谢） 一、概述 redis服务器是一对多服务器，多个客户端可以与一个服务器建立连接，并且分别发送请求，服务器接收请求并分别回复。通过使用I/O多路复用技术实现的文件事件处理器，redis服务器使用单线程单进程的方式来处理请求，并与多个客户端建立网络通信。 1、单个客户端状态结构存储 每个与服务器建立连接的客户端，服务器都为这些客户端建立相应的redis.h/redisClient结
今天学习的是 CMU 和 Facebook 的同学 2017 年的工作《Non-local Neural Networks》，发表于 CVPR 18，作者王小龙，导师是何凯明老师，这篇论文的截止目前的引用量有 1100 多次。
如果你用过 PyTorch 进行深度学习研究和实验的话，你可能经历过欣喜愉悦、能量爆棚的体验，甚至有点像是走在阳光下，感觉生活竟然如此美好 。但是直到你试着用 PyTorch 实现可变大小的 mini-batch RNNs 的时候，瞬间一切又回到了解放前。
春节贴春联是中国人庆祝春节（过年）的特有习俗。但我真正对对联有些认识和喜欢，不是从年年贴春联开始的，而是从《唐伯虎点秋香》那段经典的对对子开始的。那工整又有韵律和意境的对子，配上有节奏的配乐读出来着实让人热血沸腾，大呼过瘾。
大家好，又见面了，我是你们的朋友全栈君。 SDU考试特别提醒： 整无语了，遇到hmb老师出题就躺平了吧。八个论述两个计算（死锁检测、硬盘访问），论述题感觉像考研题，基本是结合xx谈谈xx这样。 分数直接爆炸，心累了，呜呜。
目录 1. IList 接口与List的区别是什么? 2.泛型的主要约束和次要约束是什么？ 3. 如何把一个array复制到arraylist里? 4.数组和 list 和 arraylist 的区别
背景 公司有一个数据处理线，上面的数据经过不同环境处理，然后上线到正式库。其中一个环节需要将数据进行处理然后导入到另外一个库(Sql Server)。这个处理的程序是老大用python写的，处理完后进
本文旨在解释深度学习的一些常用术语，尤其是吴恩达在deeplearning.ai的Coursera课程中会频繁提到的重要词汇。每个词条包含意义阐释、图片和相关链接（公众号读者请点击原文查看），希望能对深度学习初学者和从业者有所帮助。
本文介绍了基于多模态融合、多任务学习、模型架构搜索等技术，实现了广告CTR/CVR预测的精排模型。同时，通过对比多种指标，对精排模型进行了细致的分析，并设计了实验进行验证。最终，在多组实验结果中，都取得了很好的效果，证明本文所提出的广告CTR/CVR预测精排模型及其实现方法的有效性。
近日，LSTM 的发明人、著名深度学习专家 Jürgen Schmidhuber 发表了一篇长文，详细论述了近 30 年前，即 1990~1991 年之间他和团队进行的许多研究。
我总是使用最先进的架构来在一些比赛提交模型结果。得益于PyTorch、Keras和TensorFlow等深度学习框架，实现最先进的体系结构变得非常容易。这些框架提供了一种简单的方法来实现复杂的模型体系结构和算法，而只需要很少的概念知识和代码技能。简而言之，它们是数据科学社区的一座金矿!
循环神经网络（recurrent nerual network）或RNN是一类用于处理序列数据的神经网络，就像卷积网络是专门用于处理网格化数据X的神经网络。循环神经网络是专门用于处理序列
Pointer Network（为方便起见以下称为指针网络）是seq2seq模型的一个变种。他们不是把一个序列转换成另一个序列, 而是产生一系列指向输入序列元素的指针。最基础的用法是对可变长度序列或集合的元素进行排序。 seq2seq的基础是一个LSTM编码器加上一个LSTM解码器。在机器翻译的语境中, 最常听到的是: 用一种语言造句, 编码器把它变成一个固定大小的陈述。解码器将他转换成一个句子, 可能和之前的句子长度不同。例如, “como estas？”-两个单词-将被翻译成 “how are you？
Pointer Network（为方便起见以下称为指针网络）是seq2seq模型的一个变种。他们不是把一个序列转换成另一个序列, 而是产生一系列指向输入序列元素的指针。最基础的用法是对可变长度序列或集合的元素进行排序。
导语 在NLP领域，语义相似度的计算一直是个难题：搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。 1. 背景 以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在两个方面：召回和排序。 在召回时，传统的文本相似性如 BM25，无法有效发现语义类 Query-Doc 结果对，如"从北
深度神经网络是在困难的学习任务中取得卓越性能的强大模型。尽管拥有大量的标记训练集，DNN就能很好地工作，但是它们并不能用于将序列映射到序列。在本文中，我们提出了一种通用的端到端序列学习方法，它对序列结构作出最小的假设。我们的方法使用多层长短期记忆网络(LSTM)将输入序列映射到一个固定维度的向量，然后使用另一个深层LSTM从向量中解码目标序列。我们的主要结果是，在WMT 14数据集的英法翻译任务中，LSTM的翻译在整个测试集中获得了34.8分的BLEU分数，而LSTM的BLEU分数在词汇外的单词上被扣分。此外，LSTM人在长句上没有困难。相比之下，基于短语的SMT在同一数据集上的BLEU得分为33.3。当我们使用LSTM对上述系统产生的1000个假设进行重新排序时，它的BLEU分数增加到36.5，这接近于之前在这项任务中的最佳结果。LSTM还学会了对词序敏感、并且对主动语态和被动语态相对不变的有意义的短语和句子表达。最后，我们发现颠倒所有源句(而不是目标句)中单词的顺序显著提高了LSTM的表现，因为这样做在源句和目标句之间引入了许多短期依赖性，使得优化问题变得更容易。
选自towardsdatascience 作者：Bryan Tan 机器之心编译 编辑：魔王、陈萍 本文介绍了 TCN 在股市趋势预测任务中的应用，表明在集成新闻事件和知识图谱后，TCN 的性能大幅超过 RNN。 本文主要介绍了以下几部分内容： 1. 金融时间序列（FTS）中的深度学习背景介绍； 2. 值得关注的 FTS 数据处理实践； 3. 时间卷积网络（TCN）； 4. 时间卷积网络在 FTS 中的应用实例； 5. 基于 TCN 的知识驱动股市趋势预测与解释。 1. 背景介绍 金融时间序列（FTS）建
论文:Neural Architecture Search with Reinforcement Learning
本文摘取该论文主干部分进行编译介绍，希望为读者提供相关进展的概括性了解。
1：input_size: 输入特征维数，即每一行输入元素的个数。输入是一维向量。如：[1,2,3,4,5,6,7,8,9]，input_size 就是9
导语 我们用13篇推文向您介绍了如何安装、编译和使用PaddlePaddle，您可以点击公众号右下角的历史消息获取相应的使用指南。 在使用指南的最后一部分，我们汇总了使用PaddlePaddle过程中
LeNet5不是CNN的起点，但却是它的hello world，让大家看到了卷积神经网络商用的前景。
在本文中，作者将传统的视频字幕任务转换为一个新的范式，即开放式视频字幕，它在视频内容相关句子的提示下生成描述，而不限于视频本身。
让我们考虑两个场景，场景一，你正在阅读与当前新闻相关的文章。第二个场景是你正在阅读准备考试。两种情况下的注意力水平是相同还是不同？
集合，表示可以通过遍历每个元素来访问的一组对象(特别是可使用foreach循环访问) 一个集合包括多个元素，即有一个集合类对象和N个元素对象
作者：Chenguang Wang、Mu Li、Alexander J. Smola
长短期记忆（Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 在过去几十年里，LSTM发展如何了？ 密切关注机器学习的研究者，最近几年他们见证了科学领域前所未有的革命性进步。这种进步就像20世纪初，爱因斯坦的论文成为量子力学的基础一样。只是这一次，奇迹发生在AlexNet论文的推出，该论文一作为Alex Krizhevsky，是大名鼎鼎Hinton的优秀学生代表之一。AlexNet参加了2012年9月30日举行的ImageNet大规模视觉识别挑战赛，达到最低的15.3%的Top-5错误率，比第二名低10.8个百分点。这一结果重新燃起了人们对机器学习（后来转变为深度学习）的兴趣。 我们很难评估每次技术突破：在一项新技术被引入并开始普及之前，另一项技术可能变得更强大、更快或更便宜。技术的突破创造了如此多的炒作，吸引了许多新人，他们往往热情很高，但经验很少。 深度学习领域中一个被误解的突破就是循环神经网络（Recurrent neural network：RNN）家族。如果你用谷歌搜索诸如「LSTMs are dead」「RNNs have died」短语你会发现，搜索出来的结果大部分是不正确的或者结果太片面。 本文中数据科学家Nikos Kafritsas撰文《Deep Learning: No, LSTMs Are Not Dead!》，文中强调循环网络仍然是非常有用的，可应用于许多实际场景。此外，本文不只是讨论LSTM和Transformer，文中还介绍了数据科学中无偏评估这一概念。 以下是原文内容，全篇以第一人称讲述。
领取专属 10元无门槛券
手把手带您无忧上云
