我们知道，CNN在图像领域应用的比较好了，那么CNN能不能用于文本分析呢？答案是肯定的。在2014年，Yoon Kim在其论文“Convolutional Neural Networks for Sentence Classification”就提出了使用CNN对文本进行分类。这应该是最早将CNN用于文本分类中的文章了。所以，我们称将用于文本分析的CNN网络叫做textCNN。
上面一篇文章中，我介绍了一篇利用RNN via Attention解决有毒评论文本分类问题。然而，在工业生产中，RNN、LSTM、GRU等循环神经网络不能并行计算，尽管研究者提出了一些其他的模型，如SRU等。CNN尽管效果在某些时候会稍逊RNN以及RNN的变体，但是CNN在速度方面却有着无可比拟的效果，且由于它的可并行性广被工业界喜爱。
笔者主要方向是KBQA，深深体会到竞赛是学习一个新领域最好的方式，这些比赛总的来说都属于文本分类领域，因此最近打算一起总结一下。
摘要：本篇主要分享从理论到实战知识蒸馏。首先讲了下为什么要学习知识蒸馏。一切源于业务需求，BERT这种大而重的模型虽然效果好应用范围广，但是很难满足线上推理的速度要求，所以需要进行模型加速。通常主流的模型加速方法主要包括剪枝、因式分解、权值共享、量化和知识蒸馏等；然后重点讲解了知识蒸馏，主要包括知识蒸馏的作用和原理、知识蒸馏的流程以及知识蒸馏的效果等；最后理论联系实战，讲解了实际业务中主要把BERT作为老师模型去教作为学生模型的TextCNN来学习知识，从而使TextCNN不仅达到了媲美BERT的分类效果，而且还能很好的满足线上推理速度的要求。对知识蒸馏感兴趣的小伙伴可以一起沟通交流。
深度学习模型在计算机视觉与语音识别方面取得了卓越的成就，在 NLP 领域也是可以的。将卷积神经网络CNN应用到文本分类任务，利用多个不同size的kernel来提取句子中的关键信息（类似 n-gram 的关键信息），从而能够更好地捕捉局部相关性。
卷积神经网络（Convolutional Neural Networks，CNN）的提出使得深度学习在计算机视觉领域得到了飞速的发展，大量基于CNN的算法模型被提出，同时深度学习算法在多个视觉领域实现了突破。最初在文本领域，主要使用的深度学习模型是RNN，LSTM等，既然CNN在图像领域得到广泛的应用，能否将CNN算法应用于文本分类中呢？Kim在2014的文章《Convolutional Neural Networks for Sentence Classification》成功将CNN模型应用在文本分类中。
对于文本分类问题，常见的方法无非就是抽取文本的特征，比如使用doc2evc或者LDA模型将文本转换成一个固定维度的特征向量，然后在基于抽取的特征训练一个分类器。 然而研究证明，TextCnn在文本分类问题上有着更加卓越的表现。从直观上理解，TextCNN通过一维卷积来获取句子中n-gram的特征表示。TextCNN对文本浅层特征的抽取能力很强，在短文本领域如搜索、对话领域专注于意图分类时效果很好，应用广泛，且速度快，一般是首选；对长文本领域，TextCNN主要靠filter窗口抽取特征，在长距离建模方面能力受限，且对语序不敏感。
每天给你送来NLP技术干货！ ---- 写在前面 本文主要介绍了两种文本分类模型：BERT文本分类基础模型，及基于Bert和TextCNN的魔改模型。在作者实际的有关文本分类的工作中取得了F1值超越Bert基础模型近4%的效果。 1. Baseline：Bert文本分类器 Bert模型是Google在2018年10月发布的语言模型，一经问世就横扫NLP领域11项任务的最优结果，可谓风头一时无二。 有关于Bert中transformer的模型细节，我们在此就不赘述了。感兴趣的朋友，可以看看《The Illus
RNN (Recurrent Neural Network) focused on Text 专门解决文本分类问题的RNN网络
本人在大三期间做了一个关于“疫苗接种”主题的舆情分析，主要涉及的技术有：爬虫（微博和知乎评论）、数据清洗、文本特征提取、建立模型（SVM、BiLSTM、TextCNN、CNN+BiLSTM、BiLSTM+Attention）、文本摘要等。
“网络喷子”群体的出现，使新闻文章中的谩骂评论屡见不鲜。本文旨在利用卷积神经网络构建谩骂评论的自动识别模型，用机器对抗喷子。
[Title]：Dual-Path Convolutional Image-Text Embedding
深度学习最初在之所以在图像和语音取得巨大成功，一个很重要的原因是图像和语音原始数据是连续和稠密的，有局部相关性。应用深度学习解决大规模文本分类问题最重要的是解决文本表示，再利用CNN/RNN等网络结构自动获取特征表达能力，去掉繁杂的人工特征工程，端到端的解决问题。接下来会分别介绍
2020年的下半年开始了，很多大学都已经放了暑假，开始准备去找实习工作了，很多2021年毕业的同学也开始了秋招的进程，而对于一些社招人员，疫情结束，年终奖拿完，也开始准备跳槽。最近一段时间，无论是实习生还是正式员工，我也面试了很多同学，今天想跟大家聊聊求职过程中技术面试大家所存在的问题。
最近把2014年Yoon Kim的《Convolutional Neural Networks for Sentence Classification》看了下，不得不说虽然Text-CNN思路比较简单，但确实能够在Sentence Classification上取得很好的效果。另外，之前@霍华德大神提了这个问题，链接如下：
文本分类是自然语言处理中一个很经典也很重要的问题，它的应用很广泛，在很多领域发挥着重要作用，例如垃圾邮件过滤、舆情分析以及新闻分类等。和其他的分类问题一样，文本分类的核心问题首先是从文本中提取出分类数据的特征，然后选择合适的分类算法和模型对特征进行建模，从而实现分类。当然文本分类问题又具有自身的特点，例如文本分类需要对文本进行分词等预处理，然后选择合适的方法对文本进行特征表示，然后构建分类器对其进行分类。本文希望通过实践的方式对文本分类中的一些重要分类模型进行总结和实践，尽可能将这些模型联系起来，利用通俗易懂的方式让大家对这些模型有所了解，方便大家在今后的工作学习中选择文本分类模型。
“女孩儿的心思男孩你别猜，你猜来猜去也猜不明白。不知道她为什么掉眼泪，也不知她为什么笑开怀……”
上次课程我们介绍了基于情感词典的情感分析方法，本节课我们尝试基于机器学习的情感分析方法，以电影中文文本情感分析为例，最常见的就是对电影评论数据进行情感分类，如积极情感（positive）、消极情感(negative)等。而目前可以用来处理这类问题的机器学习模型有很多，如朴素贝叶斯、逻辑回归、SVM、CNN等等，本文采用深度学习TextCNN模型进行电影评论数据的情感分类，下面看其具体实现的过程。
论文地址：Convolutional Neural Networks for Sentence Classification
本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。
本文主要介绍一篇将CNN应用到NLP领域的一篇论文 Convolutional Neural Networks for Sentence Classification，然后给出 PyTorch 实现
作者：杨夕、芙蕖、李玲、陈海顺、twilight、LeoLRH、JimmyDU、艾春辉、张永泰、金金金
比赛介绍 这是一个文本多分类的问题：目标是 “参赛者根据知乎给出的问题及话题标签的绑定关系的训练数据，训练出对未标注数据自动标注的模型”。通俗点讲就是：当用户在知乎上提问题时，程序要能够根据问题的内容
本文集仅为收录自己感兴趣、感觉不错的文章与资源，方便日后查找和阅读，所以排版可能会让人觉得乱。内容会不断更新与调整。文中涉及公众号的文章链接可以会失效，知道如何生成永久链接的小伙伴还望告知。
本文以世界人工智能创新大赛（AIWIN）心电图智能诊断竞赛为实践背景，给出了数据挖掘实践的常见思路和流程。本项目使用TextCNN模型进行实践。
罪名预测：根据刑事法律文书中的案情描述和事实部分，预测被告人被判的罪名； 法条推荐：根据刑事法律文书中的案情描述和事实部分，预测本案涉及的相关法条； 刑期预测：根据刑事法律文书中的案情描述和事实部分，预测被告人的刑期长短。
近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。
本文是本人所写的NLP基础任务——文本分类的【深入TextCNN】系列文章之一。【深入TextCNN】系列文章是结合PyTorch对TextCNN从理论到实战的详细教程。
摘要：本篇从理论上到实践介绍了BERT知识蒸馏发展进程。首先介绍了BERT类模型提升线上性能的方法以及知识蒸馏为什么有效；然后重点介绍了BERT蒸馏的主要发展进程，主要包括微调阶段蒸馏最后一层、微调阶段蒸馏中间层、预训练阶段蒸馏、预训练+微调两阶段蒸馏以及其他蒸馏方案；最后介绍了我们实际项目中BERT蒸馏实践。对BERT知识蒸馏感兴趣并希望应用到实际业务中的小伙伴可能有帮助。
一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征)，输出层是我们的预测 (prediction)。神经网络的目的是拟合一个函数 f*：features -> prediction。在训练期间，通过减小 prediction 和实际 label 的差异的这种方式，来更改网络参数，使当前的网络能逼近于理想的函数 f*。
推荐github上的一个NLP代码教程：nlp-tutorial，教程中包含常见的NLP模型代码实现（基于TensorFlow和Pytorch），而且教程中的大多数NLP模型都使用少于100行代码。
自然语言处理领域的殿堂标志 BERT 并非横空出世，背后有它的发展原理。今天，蚂蚁金服财富对话算法团队整理对比了深度学习模型在自然语言处理领域的发展历程。从简易的神经元到当前最复杂的BERT模型，深入浅出地介绍了深度学习在 NLP 领域进展，并结合工业界给出了未来的 NLP 的应用方向，相信读完这篇文章，你对深度学习的整体脉络会有更加深刻认识。
昨天是一年一度的“女神节”，Mr.Tech首先给各位程序媛和小姐姐补上节日祝福哦~
Convolutional Neural Networks for Sentence Classification (EMNLP 2014)
ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPCNN，由于上一篇文章介绍的TextCNN 不能通过卷积获得文本的长距离依赖关系，而论文中DPCNN通过不断加深网络，可以抽取长距离的文本依赖关系。实验证明在不增加太多计算成本的情况下，增加网络深度就可以获得最佳的准确率。
输入补全可以用哪个数据结构来做？（字典树） 假如有10亿条搜索请求，怎么找出最热的前10条？ 讲一下LDA，讲一下隐狄利克雷分布，里面有个辛普森采样了解吗 pointwise、pairwise 、listwise的区别 word2vec是有监督的还是无监督的 word2vec的损失函数形式 分层softmax和负采样原理 Glove的思想以及和word2vec的区别 Fasttext和word2vec的区别 Fasttext哈希规则，怎么把语义相近的词哈希到一个桶里 RNN、LSTM、GRU公式。 RNN、LSTM、GRU参数大小 Attention机制的原理，有哪些变种 sigmoid用作激活函数时，分类为什么要用交叉熵损失，而不用均方损失？
本文介绍了一种使用TensorFlow构建CNN进行情感分析的方法。首先，文章介绍了数据集和实验环境。然后，详细讲解了网络模型的设计和实现，包括卷积层、池化层和全连接层等。最后，给出了实验结果和性能分析。
【导读】ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPCNN，由于上一篇文章介绍的TextCNN 不能通过卷积获得文本的长距离依赖关系，而论文中DPCNN通过不断加深网络，可以抽取长距离的文本依赖关系。实验证明在不增加太多计算成本的情况下，增加网络深度就可以获得最佳的准确率。
最近有很多小伙伴想了解深度学习在文本分类的发展，因此，笔者整理最近几年比较经典的深度文本分类方法，希望帮助小伙伴们了解深度学习在文本分类中的应用。
nlp-tutorial是一个使用Pytorch／TensorFlow，学习自然语言处理的教程。大多数模型的代码行数少于100行。
https://github.com/yongzhuo/Keras-TextClassification
深度学习正在给自然语言处理带来巨大的变革，例如机器翻译，情感分析，问答系统等落地实践。深度学习对NLP的影响主要有如下几点：
文本分类作为人工智能领域的一个重要分支，其价值和影响力已经深入到我们日常生活的各个角落。在这个数据驱动的时代，文本分类不仅是机器学习和深度学习技术的集中展示，更是智能化应用的基础。
ACL2017 年中，腾讯 AI-lab 提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。
Fasttext是Facebook推出的一个便捷的工具，包含文本分类和词向量训练两个功能。
导语 | 本文主要介绍我们在视频的query-doc匹配模型上进行的模型蒸馏技术优化，第一章介绍知识蒸馏概念、业务模型难点以及现有方案不足；第二章介绍匹配模型细节以及模型蒸馏整体框架；第三章介绍我们在蒸馏方案上的优化点，包括ALBERT/CNN学生模型选择、更好的teacher得分loss指导以及AutoML搜索；第四章是模型压缩实验结果展示。 一、 前言 （一）知识蒸馏 知识蒸馏（Knowledge Distillation）概念是由Hinton在NIPS2014提出，旨在把一个或多个模型（teache
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
