文本的entailment（蕴涵）是一个简单的逻辑练习，用来判断一个句子是否可以从另一个句子推断出来。承担了文本的entailment任务的计算机程序，试图将一个有序的句子分类为三个类别中的一种。 文本的entailment也可以通过过滤不包含新信息的句子来增强文档的摘要。其他自然语言处理系统(NLP)也发现类似的应用。 本文将引导你了解如何构建一个简单快捷的神经网络来执行使用TensorFlow.的文本的entailment。 Vanilla循环网络 Recurrent neural networks(RNNs)是神经网络的一种序列学习工具。 我们增加了正则化的损失以帮助过度拟合，然后准备一个优化器来学习如何减少损失。
一、神经网络 1、神经元概述 神经网络是由一个个的被称为“神经元”的基本单元构成，单个神经元的结构如下图所示： ? image.png ? 2、神经网络 2.1、神经网络的结构 神经网络是由很多的神经元联结而成的，一个简单的神经网络的结构如下图所示： ? 其中一个神经元的输出是另一个神经元的输入，+1项表示的是偏置项。 2.2、神经网络中的参数说明 image.png 2.3、神经网络的计算 image.png 2.4、其他形式的神经网络模型 上述以单隐层神经网络为例介绍了神经网络的基本结构，在神经网络的结构中，可以包含多个隐含层 2.5、神经网络中参数的求解 image.png image.png image.png image.png 2.6、神经网络的学习过程 对于神经网络的学过程，大致分为如下的几步： 初始化参数，包括权重 、偏置、网络层结构，激活函数等等 循环计算 正向传播，计算误差 反向传播，调整参数 返回最终的神经网络模型 参考文献 1、英文版：UFLDL Tutorial 2、中文版：UFLDL教程
代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿！
2.2、神经网络中的参数说明 在神经网络中，主要有如下的一些参数标识： 网络的层数n1n1n_1。 lll层的第jjj个神经元和第l+1l+1l+1层的第iii个神经元之间的连接参数，b(l)ibi(l)b^{(l)}_i标识的是第l+1l+1l+1层的第iii个神经元的偏置项。 -\alpha \frac{\partial }{\partial b^{(l)}_{i}}J\left ( \mathbf{W},\mathbf{b} \right ) 其中，αα\alpha 称为学习率 \partial b_{i}^{(l)}}J\left ( \mathbf{W},\mathbf{b};\mathbf{x},y \right )=\delta _i^{(l+1)} 2.6、神经网络的学习过程 对于神经网络的学过程，大致分为如下的几步： 初始化参数，包括权重、偏置、网络层结构，激活函数等等 循环计算 正向传播，计算误差 反向传播，调整参数 返回最终的神经网络模型 参考文献 1、英文版：
本文来自CMU的博士，MIT的博士后，vision.ai的联合创始人Tomasz Malisiewicz的个人博客文章，阅读本文，你可以更好的理解计算机视觉是怎么一回事，同时对机器学习是如何随着时间缓慢发展的也有个直观的认识 以下为正文： 本文我们来关注下三个非常相关的概念（深度学习、机器学习和模式识别），以及他们与2015年最热门的科技主题（机器人和人工智能）的联系。 ? 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是非常崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。 但，值得庆幸的是，这一切即将改变…… 延伸阅读：要了解更多关于计算机视觉特征的知识，可以看看原作者之前的博客文章：“从特征描述子到深度学习：计算机视觉的20年”。 3. 对于深度学习，还存在很多没有解决的问题。既没有完整的关于深度学习有效性的理论，也没有任何一本能超越机器学习实战经验的指南或者书。
今天跟大家推荐一个Github项目，来自NAVER Clova AI Research的hwalsuklee同学汇总了近几年的基于深度学习进行文本检测、识别的论文、代码、数据集、教程资源，非常值得参考。 作者首先统计了深度学习OCR方向的文献： ? 可见这个方向基于深度学习的技术是大势所趋。 文本检测汇总 在下图表格中，IC3代表该算法在ICDAR2013数据集上的精度，IC15代表该算法在ICDAR2015数据集上的精度，PRJ代表项目主页，CAFFE/TF等代表使用深度学习框架Caffe 下面是作者用论文发表时间和相应精度制作的散点图，可见该领域算法精度几乎是以45度角直线上升式发展。 ? ? 文本识别汇总 文本识别的精度是在四个数据集上比较的，如下图。 ? 下面是来自两个数据集的散点图，同样识别技术也几乎以45度角直线式发展。 ? ? 端到端文本识别 即包含文本检测与识别的全流程的算法。 ?
前言 之前我们通过朴素贝叶斯方法，做过英文文档的分类（传送门）。那使用中文文本，如何使用深度学习方法来进行分类了？这就是本文所讲的。首先我们来看看中文文本和英文文本的不同。 在处理英文文本时，我们使用的是TF-IDF方法，该方法当然也可以使用在中文文本中，但是我们都知道，中文的分词不像英文那样，每个词都是通过空格分开的，中文我们通过jieba来进行分词。 数据处理 我们数据来源于王老师的一篇文章的数据，是某商品的评价信息。我们处理的大概流程如下： 数据情况 中文文本分词 建立token token转换为列表 统一长度 具体步骤见下。 建立token 文本数据电脑是没法识别的，电脑只知道数字信息，所以接下来我们就要把文本数据转换为数字，有很多方法，之前的TF-IDF就是其中一种方法。 sequences = tokenizer.texts_to_sequences(data.text) 统一长度 我们都知道，评论的长度不一样，数据也就不一样，我们截长补短。
什么是OCR 1）定义 OCR （Optical Character Recognition，光学字符识别）是指对图片中的文字进行查找、提取、识别的一种技术，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程 那如何才能实现带角度的文本检测呢？让模型再学习一个表示角度的参数θ，即模型要回归的参数从原来的(x,y,w,h)变成(x,y,w,h,θ)。 首先，RNN具有很强的捕获序列内上下文信息的能力。对于基于图像的序列识别使用上下文提示比独立处理每个符号更稳定且更有帮助。以场景文本识别为例，宽字符可能需要一些连续的帧来完全描述（参见图2）。 深层结构允许比浅层抽象更高层次的抽象，并且在语音识别任务中取得了显著的性能改进。 5）转录 转录是将RNN所做的每帧预测转换成标签序列的过程。数学上，转录是根据每帧预测找到具有最高概率的标签序列。 网络详细结构 7）结论 该模型在4个公共测试数据集上取得了较好的成绩，跟其它基于深度学习模型相比，具有明显提升。
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。 文本检测和识别是计算机视觉的一个非常重要的应用，今天给大家推荐初入该领域可以读的文章。 作者&编辑 | 言有三 1 CTPN 文本与一般的目标有区别，比如没有精确而闭合的边缘，单个字符目标窄，但是整体文本串又较长。 首先检测局部片段，然后通过规则将所有的片段进行连接，得到最终的文本行，这样做的好处是可以检测任意长度的文本行。 文章引用量：150+ 推荐指数：✦✦✦✦✧ ? 总结 本次我们介绍了初学文本检测和识别值得读的文章，另外当前文本检测和识别的研究难点在于任意形状文本检测，多语言文本识别，端到端检测与识别等方向，读者可以继续关注。
“ 本文是用深度学习做命名实体识别系列的第一篇，通过本文，你将了解如何用brat做文本数据标注。” 一、 什么是命名实体识别？ 从一句话中识别出人名，地名，组织名，日期时间，这就是命名实体识别的一个例子，而人名，地名等这些被识别的目标就是命名实体。当然命名实体还可以是很多其它有意义的目标，比如产品，公司，专有名词等等。 了解过机器学习的朋友都知道，无论是传统的机器学习还是深度学习，大多数情况都是在做监督学习，也就是需要大量标注好的数据做为训练样本，那么这里，如果希望机器能识别出人名，地名，就必须事先给机器看看在一句话中 ，里面的内容片段如下（这里用句号分句处理，是因为不希望每个训练样本太长，建议控制在500字符内）： 1964年9月10日，马云出生在杭州。 关于如何使用这两个文件，将在下一篇《用深度学习做命名实体识别(二)：模型训练》中介绍。 ok，本篇就这么多内容啦~，感谢阅读O(∩_∩)O，88~
使用 基于深度学习的 Spatial Transform 方法，可以让“草书” 字体的手写数字同样也可以被高效识别。 这时候一个简单的深度神经网络可能就做不到了。本节内容，就是在讨论遇到这种情况时，应该如何调整深度学习模型。 1. 固定长度 固定长度的字符、数字识别，比较常见的应用场景包括： 识别验证码 识别机动车车牌 识别验证码的方法，使用 Keras搭建一个深度卷积神经网络来识别 c验证码 有详细介绍。 当然这个项目同样提供了完整的 MXNet 深度学习框架编写的代码，我们接下来会用 Keras 再写一个。 关注微信公众号datayx 然后回复“文字识别”即可获取。 来看看生成器的效果： ? ? 这个思路没有问题，但实际上根据之前卷积神经网络的原理，实际上卷积神经网络在扫描整张图片的过程中，已经对整个图像的内容以及相对位置关系有所了解，所以，七个模型的卷积层实际上是可以共享的。
本文我们来关注下三个非常相关的概念（深度学习、机器学习和模式识别），以及他们与2015年最热门的科技主题（机器人和人工智能）的联系。 ? 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是非常崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。 卷积被广泛用于深度学习（尤其是计算机视觉应用中），而且它的架构往往都是非浅层的。 如果你要学习Deep Learning，那就得先复习下一些线性代数的基本知识，当然了，也得有编程基础。 对于深度学习，还存在很多没有解决的问题。既没有完整的关于深度学习有效性的理论，也没有任何一本能超越机器学习实战经验的指南或者书。 另外，深度学习不是万能的，它有足够的理由能日益流行，但始终无法接管整个世界。不过，只要你不断增加你的机器学习技能，你的饭碗无忧。
本文我们来关注下三个非常相关的概念（深度学习、机器学习和模式识别），以及他们与2015年最热门的科技主题（机器人和人工智能）的联系。 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是非常崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。 可以看到： 1）机器学习就像是一个真正的冠军一样持续昂首而上； 2）模式识别一开始主要是作为机器学习的代名词； 3）模式识别正在慢慢没落和消亡； 4）深度学习是个崭新的和快速攀升的领域。 1. 对于深度学习，还存在很多没有解决的问题。既没有完整的关于深度学习有效性的理论，也没有任何一本能超越机器学习实战经验的指南或者书。 另外，深度学习不是万能的，它有足够的理由能日益流行，但始终无法接管整个世界。不过，只要你不断增加你的机器学习技能，你的饭碗无忧。
将文本数据处理成有用的数据表示 循环神经网络 使用1D卷积处理序列数据 深度学习模型可以处理文本序列、时间序列、一般性序列数据等等。 处理序列数据的两个基本深度学习算法是循环神经网络和1D卷积(2D卷积的一维模式)。 文本数据 文本是最广泛的序列数据形式。可以理解为一系列字符或一系列单词，但最经常处理的是单词层面。 自然语言处理的深度学习是应用在单词、句子或段落上的模式识别；就像计算机视觉是应用在像素上的模式识别。 就像其他神经网络一样，深度学习模型不能直接处理原始文本：只能处理数值型张量。 文本向量化过程：对文本使用标记模式，将数值向量和生成的token联系起来。这些向量打包成序列张量，送到深度学习网络中。 例如，使用大小为5的卷积窗口的1D卷积处理字符序列应该能够学习长度为5或更小的单词或单词片段，并且它应该能够在输入序列的任何上下文中识别这些单词。
本篇文章，将带你一步步的安装文本标注工具brat。 brat是一个文本标注工具，可以标注实体，事件、关系、属性等，只支持在linux下安装，其使用需要webserver，官方给出的教程使用的是Apache2。 使用示例 下载brat 建议下载brat的release版本，地址：https://github.com/nlplab/brat/releases/tag/v1.3p1 安装环境 本文将在Ubuntu18.04 /install.sh 执行以下命令，根据提示输入用户名、密码、管理员邮箱 . /mods-available/cgi.load 只有这样才能使用cgi模块，而这步在brat的官方文档中貌似没有提及。但是在issue的#1141中提到了这点。
文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列 ，方便输入模型 读入文本 我们用一部英文小说，即H. Well的Time Machine，作为示例，展示文本预处理的具体过程。 machine', 3), ('by', 4), ('h', 5), ('g', 6), ('wells', 7), ('i', 8), ('traveller', 9)] 将词转为索引 使用字典，我们可以将原文本中的句子从单词序列转换为索引序列 这样的词会被错误地处理 我们可以通过引入更复杂的规则来解决这些问题，但是事实上，有一些现有的工具可以很好地进行分词，我们在这里简单介绍其中的两个：spaCy和NLTK。
2017年要说最火的几个关键词中，必然有【机器学习】的一席之地，从AlphaGo战胜人类围棋冠军到google无人驾驶技术的逐步成熟，从基于特征的推荐算法到更为精确的语音识别技术，机器学习正在渗透我们的生活 其实机器学习并没有大家想的那么深奥，人人都可学习。大家最头疼的问题一定是第一步我该做什么？别担心，我会通过几个章节，为大家揭开机器学习的神秘面纱。 首先理解 模式识别、机器学习、深度学习之间的关系。 模式识别 在工业时代，从一些个别的事物或现象推断出事物或现象的总体，人脑的这种思维能力就构成了“模式”的概念，即为"模式识别" 例：识别猫 人们通过猫的集合体推断出，四条腿，体型较小，会喵喵叫的动物为猫 深度学习 机器通过对数据更深层次的分析，提取出对应特征（主要是使用神经网络） 例：机器通过深入了解它，发现它会’喵喵’的叫、与同类的猫科动物很类似，得到结论，从而判断它就是猫。 总结 1、模式识别：是基于人的经验，由人赋予计算机智能 2、机器学习：通过分析大量数据，由机器通过统计学，概率的方式总结规律（线性回归、逻辑回归、神经网络、SVM等） 3、深度学习：可以看作机器学习更深层的分支
【编者按】本文来自CMU的博士，MIT的博士后，vision.ai的联合创始人Tomasz Malisiewicz的个人博客文章，阅读本文，你可以更好的理解计算机视觉是怎么一回事，同时对机器学习是如何随着时间缓慢发展的也有个直观的认识 以下为正文： 本文我们来关注下三个非常相关的概念（深度学习、机器学习和模式识别），以及他们与2015年最热门的科技主题（机器人和人工智能）的联系。 ? 模式识别是最古老的（作为一个术语而言，可以说是很过时的）。机器学习是最基础的（当下初创公司和研究实验室的热点领域之一）。而深度学习是非常崭新和有影响力的前沿领域，我们甚至不会去思考后深度学习时代。 但，值得庆幸的是，这一切即将改变…… 延伸阅读：要了解更多关于计算机视觉特征的知识，可以看看原作者之前的博客文章：“ 从特征描述子到深度学习：计算机视觉的20年 ”。 3. 对于深度学习，还存在很多没有解决的问题。既没有完整的关于深度学习有效性的理论，也没有任何一本能超越机器学习实战经验的指南或者书。
数据 数据下载 这里我们通过tensorflow的模块，来下载数据集。 的意思是label为独热编码，也就是说我们的label就不需要预处理了。 数据情况 我们通过下面代码看看数据的情况： 55000训练集 5000验证集 10000测试集 ? MLP模型 之前我们使用过keras进行训练，只需要建立一个model，然后add加入神经网络层。 tensorflow是要复杂很多，那我们一步步构建我们的模型吧。 output_dim=10,input_dim=256, inputs=h1,activation=None) 定义损失函数 这里我们需要自己定义函数，并进行优化处理。
一、前言 当想要训练处理图像的深度学习模型时，遇到了大尺寸图像，如果我们直接使用全连接层来无脑叠加，那会造成以下几个问题： （1）将图像展开为向量会丢失空间信息； （2）参数过多导致效率低下，训练困难； 今天，我将分享一下我自己使用pytorch搭建的CNN模型，识别由英文字母和数字组成的验证码图像。 阅读本文需提前掌握以下知识： 卷积神经网络的原理 卷积层和全连接层的构成 pytorch建立CNN模型 pytorch的Dataset类 二、CNN的2大特点： 能够有效的将大数据量的图片降维成小数据量 能够有效的保留图片特征，符合图片处理的原则 三、什么类型的图像识别适用CNN？ 验证码识别虽然是CNN中非常简单的应用，但是通过本次实践，能够基本掌握如何使用pytorch训练CNN模型，之后的CNN模型搭建，都可以参照上述思路。
今天给您讲讲视频大数据和视频内容的识别（部分内容来自复旦大学-计算机科学技术学院薛向阳、姜育刚，谢谢参考阅读）。 视频大数据 ? 作为目前最火热的词汇之一，大数据在各个领域都已有了较为成熟的应用。 可以预见在未来的“智慧城市”建设中，视频的数据量会爆炸性增长，对海量视频数据处理系统的要求会越来越高，对视频数据挖掘的能力要求越来越强，视频大数据平台将引入越来越多的AI机器学习，深度学习、智能图算法等尖端技术来提高整个系统的智能化水平 大规模动作识别比赛的数据 THUMOSChallenge 101类别；分别与ICCV2013、ECCV2014、CVPR2015合办 ? 深度视频学习 Video Classification with Regularized DNN ? Z. Wu, Y.-G. 然后加一个类别关系的正则项： ? 在训练过程中，是通过相关系数矩阵V得到： ? 其可以从高相关类中学习有用的知识。 最后再加一个参数W的正则项（为了增加鲁棒性），整个公式为： ?
文本内容安全（Text Moderation System，TMS）服务使用了深度学习技术，可有效识别涉黄、涉政、涉恐等有害内容，支持用户配置词库，打击自定义的违规文本。通过 API 接口，能检测内容的危险等级，对于高危部分直接过滤，可疑部分人工复审，从而节省审核人力，释放业务风险。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
云数据库 PostgreSQL
文件存储
SSL 证书