首页
学习
活动
专区
工具
TVP
发布

小小挖掘机

专栏作者
516
文章
861580
阅读量
237
订阅数
2021年,还能入坑NLP吗?
最近有粉丝私信我,NLP很难学,这条路能坚持走吗?有相同困惑的朋友可以一起探讨一下:
石晓文
2021-11-04
8900
BERT大魔王为何在商业环境下碰壁?
大型基于Transformer的神经网络,例如BERT,GPT和XLNET,最近在许多NLP任务中取得了最新的成果。这些模型的成功基于通用任务(例如语言建模)和特定下游任务之间的迁移学习, 这些模型在有标记数据的静态评估集上表现出色。但是,在商业环境中部署这些模型通常会产生较差的结果。这是因为商业环境通常是动态的,并且在推理数据和训练数据之间包含连续的领域变化,例如新主题,新词汇或新写作风格等。
石晓文
2020-07-03
8060
如何让BERT拥有视觉感知能力?两种方式将视频信息注入BERT
AI的三大核心板块(CV/Speech/NLP)近几年都相继取得了非常大的发展和进步。但是正所谓成也萧何,败也萧何,深度学习一直在能力泛化和鲁棒性问题上饱受诟病,通用AI之路遥遥无期。
石晓文
2020-03-05
9080
什么是XLNet中的双流自注意力
在我之前的文章什么是XLNet,它为什么比BERT效果好?中,我主要讨论了XLNet (AR语言模型)和BERT (AE语言模型)之间的区别以及重排列语言建模。
石晓文
2020-03-03
1.2K0
一些NLP的面试问题
练习NLP是一回事,破解面试是另一回事。对NLP人员的面试与一般的数据科学非常不同。在短短几年内,由于迁移学习和新的语言模型,这些问题已经完全改变了。我个人经历过,随着时间的推移,NLP面试变得越来越艰难,因为我们取得了更多的进步。
石晓文
2020-02-24
9760
12篇文章带你进入NLP领域,掌握核心知识
专栏《NLP》第一阶段正式完结了。在本专栏中,我们从NLP中常用的机器学习算法开始,介绍了NLP中常用的算法和模型;从朴素贝叶斯讲到XLnet,特征抽取器从RNN讲到transformerXL。这篇文章我们就一起回顾一下这些文章。
石晓文
2019-12-23
4560
美团BERT的探索和实践
2018年,自然语言处理(Natural Language Processing,NLP)领域最激动人心的进展莫过于预训练语言模型,包括基于RNN的ELMo[1]和ULMFiT[2],基于Transformer[3]的OpenAI GPT[4]及Google BERT[5]等。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功,证明了我们可以从海量的无标注文本中学到潜在的语义信息,而无需为每一项下游NLP任务单独标注大量训练数据。此外,预训练语言模型的成功也开创了NLP研究的新范式[6],即首先使用大量无监督语料进行语言模型预训练(Pre-training),再使用少量标注语料进行微调(Fine-tuning)来完成具体NLP任务(分类、序列标注、句间关系判断和机器阅读理解等)。
石晓文
2019-11-18
8940
NLP入门(1)-词典分词方法及实战
分词是自然语言处理中最基本的任务之一,而词典分词是最简单、最常见的分词算法,仅需一部词典和一套查词典的规则即可。
石晓文
2019-11-18
1.6K0
面经分享|中科院老哥的算法&开发岗面经总结
往昔的回忆使我们激动,我们重新踏上旧日的路,一切过去日子的感情,又逐渐活在我们的心里;使我们再次心紧的是,曾经熟悉的震颤;为了回忆中的忧伤,真想吐出一声长叹……
石晓文
2019-11-12
1.5K0
线性代数在数据科学中的十大强大应用(二)
本篇主要介绍自然语言处理(NLP)中的线性代数与计算机视觉(CV)中的线性代数。涵盖主成分分析(PCA)与奇异值分解(SVD)背后的线性代数知识。相信这也是各位数据科学爱好者常用的各项技术,希望可以帮大家理清思路和对这些算法有更进一步的认识。
石晓文
2019-10-10
7670
从word2vec到bert:NLP预训练模型发展史
原文链接:https://zhuanlan.zhihu.com/p/49271699
石晓文
2019-09-29
1.8K0
万字长文解读电商搜索——如何让你买得又快又好
一个产品的搜索功能,是用户快速触达所需信息的通道,起到了引导用户走向的重要作用;优秀的产品必然有成熟、体验良好的搜索功能。
石晓文
2019-09-10
3.2K0
【AI in 美团】深度学习在文本领域的应用
AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域,帮助美团3.2亿消费者和400多万商户改善服务和体验,帮大家吃得更好,生活更好。
石晓文
2019-07-30
8030
Bert时代的创新(应用篇):Bert在NLP各领域的应用进展
Bert 给人们带来了大惊喜,不过转眼过去大约半年时间了,这半年来,陆续出现了与Bert相关的不少新工作。
石晓文
2019-06-17
1.6K0
「回顾」强化学习在自然语言处理中的应用
本文首先介绍了强化学习的概念和相关知识,以及与监督学习的区别,然后就强化学习在自然语言处理应用中的挑战和优势进行了讨论。
石晓文
2019-03-06
2.2K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档