NewBeeNLP

LV1

技术专栏

NewBeeNLPTA创建的

185 文章33 关注者

全部文章

  • 一文速览 | 对话生成预训练模型

    大规模预训练言模型在生成式对话领域近年来有非常多的工作,如百度PLATO系列(PLATO[1]/PLATO-2[2]/PLATO-XL[3]),微软DialoG...

    NewBeeNLP
  • 万字综述!从21篇最新论文看多模态预训练模型研究进展

    在传统的NLP单模态领域,表示学习的发展已经较为完善,而在多模态领域,由于高质量有标注多模态数据较少,因此人们希望能使用少样本学习甚至零样本学习。最近两年出现了...

    NewBeeNLP
  • 百度 2021 Lic 机器阅读理解比赛有感

    百度21年语言与智能技术竞赛落下帷幕,本人利用空余时间参加了机器阅读理解的赛道,虽然分数不高,但还是有很多想法想跟大家分享。主要的想法就是围绕「如果造更鲁棒的数...

    NewBeeNLP
  • 我是如何赢得吴恩达首届 Data-centric AI 竞赛的?

    吴恩达(英文名 Andrew Ng,是人工智能和机器学习领域国际上最权威的学者之一)在今年 6 月的时候宣布首届以数据为中心的人工智能(Data-centric...

    NewBeeNLP
  • 从 Sentence-BERT 谈句子表征

    在之前那篇 NLP 表征的历史与未来[1] 里,我们几乎从头到尾都在提及句子表征,也提出过一个很重要的概念:“句子” 才是语义理解的最小单位。不过当时并没有太过...

    NewBeeNLP
  • NLP 语义匹配:经典前沿方案整理

    这篇跟大家讨论相关的技术,主要包括BERT-avg、BERT-Whitening、SBERT、SimCES四个。

    NewBeeNLP
  • 一文看懂!百度对话系统PLATO家族

    PLATO是百度Siqi Bao等人在2020年-2021年针对NLP对话领域提出的一系列预训练模型,具体包括PLATO,PLATO-2,PLATO-XL,前两...

    NewBeeNLP
  • 深度学习基础 | 超详细逐步图解 Transformer

    读完先修知识中的文章之后,你会发现:RNN由于其顺序结构训练速度常常受到限制,既然Attention模型本身可以看到全局的信息, 那么一个自然的疑问是我们能不能...

    NewBeeNLP
  • 顶会论文看图对比学习 (GNN+CL) 研究趋势

    随着对比学习(Contrastive Learning)在 CV、NLP 等领域大放异彩,其研究热度近年来也逐步走高。在图学习领域,由于图(Graph)数据也存...

    NewBeeNLP
  • NLP 语义匹配:业务场景、数据集及比赛

    大家好,这篇文章想跟大家讨论一下语义匹配的应用场景。实际上无论是NLP的哪个技术,我认为接触场景,思考这个技术跟具体场景是怎么结合的?这技术有哪些场景能应用?是...

    NewBeeNLP
  • 升级换代!Facebook全新电商搜索系统Que2Search

    今天继续,看看Facebook在KDD'21的工作,从模型到部署介绍了Facebook Marketplace这一电商平台的语义检索系统。

    NewBeeNLP
  • ​深度学习基础 | Seq2seq+Attention

    可以看出,整个seq2seq模型分为两大部分:Encoder RNN和Decoder RNN。

    NewBeeNLP
  • 预训练模型,NLP的版本答案!

    问题其实很多,模型训练慢,一个月迭代一次很正常(现在做业务,两周就要有一轮迭代),显卡内存动不动就给爆了。

    NewBeeNLP
  • 深度学习基础 | RNN家族全面解析

    【定义】当很多的层都用特定的激活函数(尤其是sigmoid函数),损失函数的梯度会趋近于0,因此模型更加不容易训练。(As more layers using ...

    NewBeeNLP
  • NLP中的范式迁移

    随着预训练模型的发展,NLP领域从各自任务的单打独斗,逐渐转变为几个主流范式的中原逐鹿,近期风头正盛的prompt learning更是隐隐有一统江湖之势。

    NewBeeNLP
  • 聊一聊算法工程师复现算法的踩坑总结

    作为一名算法工程师,主要是想把自己模型调优和复现算法遇到的一些坑总结一下(里面的一行字可能是我当时花费了一周甚至更长时间得到的总结),希望能对读者有所帮助。

    NewBeeNLP
  • 深度学习基础 | 从Language Model到RNN

    循环神经网络 (RNN) 是一种流行的「序列数据」算法,被 Apple 的 Siri 和 Google 的语音搜索使用。RNN使用内部存储器(internal ...

    NewBeeNLP
  • 搜索、推荐、广告中的曝光偏差问题

    机器学习本质上是在学习数据的分布, 其有效性的假设是模型 training 和 serving 时的数据是独立同分布(Independent and Ident...

    NewBeeNLP
  • Don't stop pretraining,继续预训练!

    大家在用BERT等预训练模型的时候,是否有根据具体的下游任务,再进行领域的预训练?可能很多朋友是直接进行fine tuning的,毕竟增加多预训练这一步略显麻烦...

    NewBeeNLP
  • GPT Plus Money!B O O M

    连接图像和文本,更多的多模态文章可以看博主整理过的系列(跨界出圈 | 谈谈BERT跨模态预训练),本篇文章主要整理一下OpenAI发表的2篇文章。其中CLIP ...

    NewBeeNLP

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券