腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习自然语言处理

专栏作者

1012

文章

1187981

阅读量

161

订阅数

上下文学习和指令微调之间到底有什么关系？

机器翻译监督学习 it 基础模型

上下文学习(ICL)和指令调优(IT)是将大型语言模型(LLM)应用于下游应用的两种主要范式。ICL推理时提供了一组示例（demonstrations），但LLM的参数没有更新。而IT的示例用于在训练时调整LLM的参数，但在推理时没有使用。虽然越来越多的文献探讨了ICL和IT，但这两种范式之间仍然是脱节的。本文通过研究LLM的隐藏状态在这两种范式中如何变化，来探索ICL和IT之间的关系。

2023-11-23

4880

开源数据 | X-RiSAWOZ: 高质量端到端多语言任务型对话数据集

机器翻译开源翻译数据系统

X-RiSAWOZ: High-Quality End-to-End Multilingual Dialogue Datasets and Few-shot Agents

2023-08-22

3390

ACMMM 2022 | 首个针对跨语言跨模态检索的噪声鲁棒研究工作

虽然目前传统的跨模态检索工作已取得了巨大的进展，但由于缺少低资源语言的标注数据，这些工作通常关注于高资源语言（比如英语），因此极大地限制了低资源语言在该领域的发展。为了解决这一问题，作者针对跨语言跨模态检索任务（CCR）展开了研究，该任务旨在仅使用人工标注的视觉-源语言（如英语）语料库对模型进行训练，使其可以适用于其他目标语言（非英语）进行评估【如下图所示】。

2023-01-07

6740

CCMT讲习班 | NLP中的神经网络设计与学习｜附338页ppt与讲解文章

卷积神经网络架构设计自动化机器翻译 NLP 服务

每天给你送来NLP技术干货！ ---- 神经网络技术是现代人工智能的关键技术，在自然语言处理、图像处理等领域表现出优异效果。来自东北大学自然语言处理实验室、小牛翻译团队的肖桐教授、博士生李垠桥、李北在CCMT 2022会议所进行的《自然语言处理中的神经网络设计与学习》演讲报告，从神经网络架构在自然语言处理中的发展、人工神经网络设计和自动化架构设计三个方面对该领域技术发展进行了全面梳理，同时也对方向的未来发展进行了分析和探讨。近些年来，人工神经网络方法已经成为了自然语言处理中最重要的范式之一。但是，大量依

2022-09-22

5710

【赠书】熊德意老师的一部不止于技术的神经机器翻译“百科全书”

机器翻译 NLP 服务深度学习神经网络

每天给你送来NLP技术干货！ ---- 2022年7月，Meta（原Facebook）AI 发布了一个大规模机器翻译模型NLLB-200，该模型在神经网络架构上混合了稠密和稀疏神经网络，参数规模达545亿，在覆盖202种语言、2440个语向的180亿平行句对上进行训练，训练后的单一模型可支持所有覆盖语言之间的的自动翻译（即202X201=40602个语向的互译）。该模型的名字是英文No Language Left Behind的缩写，体现了机器翻译实现世界上所有语言互译的美好愿景。历经70载，机器翻

2022-08-26

6140

全世界都在说中国话？2022国际大数据竞赛首次以“中文”命题

大数据机器翻译 NLP 服务 https

每天给你送来NLP技术干货！ ---- 8月10日， IKCEST第四届“一带一路”国际大数据竞赛暨第八届百度&西安交大大数据竞赛（以下简称“国际大数据竞赛”）正式启动，本届赛题聚焦“低资源语言机器翻译”行业难题，向全球开发者发出邀请。百度发布稀缺语种任务挑战机器翻译难题截至今年5月，我国签署的“一带一路”合作文件涉及110多种语言，沿线国家和地区在经济发展、民生改善等方面的合作日趋深入，对多语言翻译的需求快速增长。本届大赛赛题——“一带一路”低资源语言翻译，重点关注法、俄、泰、阿与中文的互译，突破

2022-08-26

2350

腾讯AI Lab的NLP博士崔乐阳回忆在西湖大学读博期间和张岳导师之间的故事

编程算法机器学习机器翻译 NLP 服务

每天给你送来NLP技术干货！ ---- 我在西湖读博士 printf("hello world!"); #include <西湖大学文本智能实验室PI张岳；博士毕业生崔乐阳> cout<<"导语" 从腾讯深圳办公大楼42层往下看车水马龙，纷纷攘攘与崔乐阳之前的生活环境大相径庭几个月前他还顶着不事稼穑的“博士生”头衔偏安杭州转塘，而今他已正式迈入职场成为腾讯AI Lab的高级研究员腾讯AI Lab 这是腾讯内部极少数的“非盈利”部门由100多位来自世界知名院校的科学家以及300

2022-08-26

6080

ICML 2022 | 清华、字节大幅刷新并行文本生成 SoTA 性能，超越 Transformer

nat NAT 网关机器翻译

每天给你送来NLP技术干货！ ---- 转自 | 新智元编辑 | 好困清华&字节联合提出的DA-Transformer摆脱了传统并行模型依赖知识蒸馏的问题，在翻译任务中大幅超越了之前所有并行生成模型，最高提升 4.57 BLEU。同时也首次达到、甚至超越了自回归 Transformer 的性能，在最高提升 0.6 BLEU 的同时，能够降低7倍的解码延迟。｜还在纠结会不会错过元宇宙和web3浪潮？清华大学科学史系副教授胡翌霖，这次给你讲个透！并行文本生成模型（非自回归模型）是一种新的文本生成范

2022-07-27

5880

ACL2022 | 基于神经标签搜索的零样本多语言抽取式文本摘要

NLP 服务机器翻译机器学习神经网络深度学习

每天给你送来NLP技术干货！ ---- ©作者 | 机器之心编辑部来源 | 机器之心这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务，并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。抽取式文本摘要目前在英文上已经取得了很好的性能，这主要得益于大规模预训练语言模型和丰富的标注语料。但是对于其他小语种语言，目前很难得到大规模的标注数据。中国科学院信息工程研究所和微软亚洲研究院联合提出一种是基于 Zero-Shot 的多语言抽取式文本摘要模型。具体方法是使

2022-07-04

6130

近200篇文章汇总而成的机器翻译非自回归生成最新综述，揭示其挑战和未来研究方向

nat NAT 网关机器翻译

每天给你送来NLP技术干货！ ---- 作者：杜林鸽学校：苏州大学人工智能实验班方向：自然语言处理论文标题：A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond 论文链接：https://arxiv.org/abs/2204.09269 概要以Transformer为基础的自回归生成（auto-regressive generation，AR）模型，已经被广泛应用到各类机器学习和自然语

2022-06-27

6390

李航：做本质的、严谨的、有意思的研究，纪念我的导师长尾真教授

机器翻译 NLP 服务机器学习深度学习

每天给你送来NLP技术干货！ ---- 编辑：机器之心作者：李航本文为清明之际，字节跳动人工智能实验室总监李航纪念导师之作。 2021年5月24日收到师弟的邮件，告知我们的导师、原京都大学教授长尾真先生于5月23日不幸去世，享年84岁。看到邮件时简直不敢相信自己的眼睛，确认是事实后，内心感到无比的悲痛。最后一次见到长尾老师是2012年11月，当时他看上去身骨硬朗，说经常去打高尔夫球，觉得他身体状况应该很好。本想疫情结束之后，再去京都看望他，汇报近况，聆听他的指导。没想到那次见面变成了永别。长尾老师

2022-04-08

3900

解决训练难题，1000层的Transformer来了，训练代码很快公开

http css 编程算法机器翻译

昨日出炉的论文《DeepNet: Scaling Transformers to 1,000 Layers》在研究社区引起了热议，作者来自微软亚洲研究院。

2022-03-10

8370

【ACL 2020】腾讯AI Lab解读三大前沿方向及入选的20篇论文

https 网络安全机器翻译 NLP 服务

自然语言理解是腾讯 AI Lab 的主要研究方向之一，研究能力也一直处于业界领先水平。总体而言，腾讯 AI Lab 的研究内容囊括从自然语言理解到生成的整个链条，另外还涉及到对 AI 系统可解释性以及算法底层机制等理论研究。相关研究成果也一直在通过研究论文、开放数据集和开源代码的形式向 NLP 及 AI 社区分享。

2020-07-09

1.1K0

【论文解读】EMNLP2019-多粒度自注意力机制

机器翻译机器学习神经网络深度学习人工智能

Multi-Granularity Self-Attention for Neural Machine Translation[1]

2020-03-05

8820

NLP的12种后BERT预训练方法

机器翻译 NLP 服务

论文：A Robustly Optimized BERT Pretraining Approach.

2020-02-24

1.2K0

【NLP】综述 | 跨语言自然语言处理笔记

编程算法 NLP 服务机器翻译

跨语言自然语言处理是当下研究的热点。其中，跨语言词向量（Cross-lingual Word Embedding）可以帮助比较词语在不同语言下的含义，同时也为模型在不同语言之间进行迁移提供了桥梁。[Ruder et al., 2017] 详细描述了跨语言词向量学习方法和分类体系，将跨语言词向量按照对齐方式分为了基于词对齐、基于句子对齐、基于文档对齐的方法。其中基于词对齐的方法是所有方法的核心和基础。在基于词对齐的方法中，又有基于平行语料的方法，基于无监督的方法等。近些年，无监督方法成为研究热点。本文主要记录一些跨语言词向量的相关论文。

2019-12-10

1.9K0

【眼界】NLP 迎来了黄金时代

NLP 服务机器翻译特征工程深度学习机器学习

那一年，我以机器翻译方向的博士毕业，到几家单位应聘。当年，毕业的博士还很少。因此，应聘单位对我似乎还是网开一面，这导致我经历的应聘过程都十分轻松短暂。几个单位基本只关心两个问题：第一，“你是博士？“，第二，“你会 C++ 吗？“ 当得到肯定的答复之后，对方就给了 offer。虽然这么容易拿到了 offer，但其实我并不开心，因为他们并不关心我的博士研究方向，也不关心我今后做什么。我自己很不甘心也觉得不太靠谱，毕竟在专业方向上做了这么多年，丢掉实在可惜，于是我拒绝了这些 offer，选择留在了研究所继续从事 NLP 相关的科研工作。

2019-12-09

4280

【NLP】EMNLP 2019 参会小结及最佳论文解读

NLP 服务深度学习机器翻译 https

2019年EMNLP自然语言处理实证方法会议11月3日至7日在中国香港召开。作为自然语言处理领域的顶级会议之一，在本次大会中，中国被接收的论文数量在所有国家和地区中位居第二。本届大会举办了18场 Workshops 、多个Tutorials和主题丰富的会议活动，吸引了超过1922人参会。

2019-12-06

1K0

【ACL2019】最佳长论文阅读笔记，降低机器翻译中的exposure bias

oracle apache 机器翻译腾讯云测试服务

文章知乎链接 https://zhuanlan.zhihu.com/p/92654122

2019-11-21

1.4K0

【前沿】详细讲解Transformer新型神经网络在机器翻译中的应用

机器翻译神经网络机器学习深度学习人工智能

于恒：直播间的朋友大家好！欢迎大家来到本次AI科技大本营公开课，我是本次讲师于恒。

2019-11-20

1.1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态