深度学习自然语言处理-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习自然语言处理

专栏成员

1035

文章

1344339

阅读量

164

订阅数

DataParallel里为什么会显存不均匀以及如何解决

https 网络安全批量计算 pytorch github

鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！

2023-03-03

1.2K0

深入理解Pytorch中的分布式训练

https 网络安全深度学习 mapreduce 批量计算

作者：台运鹏 (正在寻找internship...) 主页：https://yunpengtai.top

2023-01-12

1.2K0

谷歌提出Flan-T5，一个模型解决所有NLP任务

https NLP 服务网络安全

「Flan-T5」是Google最新的一篇工作，通过在超大规模的任务上进行微调，让语言模型具备了极强的泛化性能，做到单个模型就可以在1800多个NLP任务上都能有很好的表现。这意味着模型一旦训练完毕，可以直接在几乎全部的NLP任务上直接使用，实现「One model for ALL tasks」，这就非常有诱惑力！

2023-01-10

4.4K0

介绍一个被称为十一边形战士的强大模型

人工智能神经网络深度学习 https 网络安全

文档智能（DI, Document Intelligence）主要指对于网页、数字文档或扫描文档所包含的文本以及丰富的排版格式等信息，通过人工智能技术进行理解、分类、提取以及信息归纳的过程。文档智能技术广泛应用于金融、保险、能源、物流、医疗等行业，常见的应用场景包括财务报销单、招聘简历、企业财报、合同文书、动产登记证、法律判决书、物流单据等多模态文档的关键信息抽取、文档解析、文档比对等。随着企业数字化、信息化进程不断加速，这类需求越来越强烈，工业界急需前沿技术与易用工具来解决这些问题。百度开源的文心ERNIE-Layout以及自然语言处理开发工具PaddleNLP来得很及时，强烈安利！

2023-01-10

8830

文本分类之样本不均衡处理及模型鲁棒性提升trick总结

https 网络安全 python NLP 服务神经网络

每天给你送来NLP技术干货！ ---- 写在前面文本分类是NLP中一个非常重要的任务，也是非常适合入坑NLP的第一个完整项目。文本分类看似简单，但实则里面有好多门道。作者水平有限，只能将平时用到的方法和trick在此做个记录和分享，并且尽可能提供给出简洁、清晰的代码实现。希望各位看官都能有所收获。本文主要讨论文本分类中处理样本不均衡和提升模型鲁棒性的trick。文章内容是根据平时阅读论文、知乎、公众号和实践得到的，若有表述不够清楚、详尽的地方可参考文末相关链接。 1. 缓解样本不均衡样本不均衡现象

2022-10-11

1.7K0

四大嵌套实体识别方法对比与总结

https 网络安全

每天给你送来NLP技术干货！ ---- 写在前面嵌套命名实体识别是命名实体识别中的一个颇具挑战的子问题。我们在《实体识别LEAR论文阅读笔记》与《实体识别BERT-MRC论文阅读笔记》中已经介绍过针对这个问题的两种方法。今天让我们通过本文来看看在嵌套实体识别上哪一个方法更胜一筹。 1. 嵌套实体识别 1.1 什么是嵌套实体识别嵌套实体识别是命名实体识别中一个子问题。那么什么才是嵌套实体呢？我们看下面这个例子： “北京天安门”是地点实体； “北京天安门”中“北京”也是地点实体；两者存在嵌套关系。 1.2

2022-10-08

3.4K0

基于深度主动学习的命名实体识别的代码实现及实验

NLP 服务深度学习腾讯云开发者社区 https 网络安全

每天给你送来NLP技术干货！ ---- 写在前面在很多问题中，获取标注准确的大量数据需要很高的成本，这也往往限制了深度学习的应用。主动学习通过对未标注的数据进行筛选，可以利用少量的标注数据取得较高的学习准确度。本文将提供代码实现，展示实验效果及一些思考。代码地址: https://github.com/hgliyuhao/ActiveLearing4NER 参考论文: 《Deep Active Learning for Named Entity Recognition》 2018 《Subsequen

2022-09-22

5630

学习=拟合？深度学习和经典统计学是一回事吗？

NLP 服务监督学习 https 网络安全编程算法

每天给你送来NLP技术干货！ ---- ©作者 | Boaz Barak 来源 | 机器之心编译排版 | PaperWeekly 深度学习和简单的统计学是一回事吗？很多人可能都有这个疑问，毕竟二者连术语都有很多相似的地方。在这篇文章中，理论计算机科学家、哈佛大学知名教授 Boaz Barak 详细比较了深度学习与经典统计学的差异，认为“如果纯粹从统计学角度认识深度学习，就会忽略其成功的关键因素”。图源：https://twitter.com/YiMaTweets/status/15539134641

2022-09-20

3240

论文清单：一文梳理因果推理在自然语言处理中的应用

https 网络安全 github git 开源

每天给你送来NLP技术干货！ ---- ©作者 | 肖之仪单位 | 北京邮电大学研究方向 | 因果推理、对话系统来自 | PaperWeekly 这篇文章是由笔者根据自然语言顶级会议收录有关于因果推断的文献整理而成，内容包括论文的基本信息以及阅读笔记。他山之石 1. Papers about Causal Inference and Language https://github.com/causaltext/causal-text-papers 2. Causality for NLP Read

2022-09-09

1.2K0

Bert/Transformer 被忽视的细节

https 网络安全批量计算深度学习 NLP 服务

作者：阎覃链接：https://zhuanlan.zhihu.com/p/559495068 引言自从 “Attention is All You Need” 提出 Transformer 以来，该模型在 NLP 的各种任务上取代了 RNN / CNN，成为了 NLP 的一种新架构。该论文最初的目的是在翻译任务上提升质量，后来由于出色的表现，被应用于各种语言模型和下游任务。除了 NLP 之外，在视觉领域甚至也取得了很好的效果。这篇论文写作比较简洁清晰，不过由于篇幅限制，每句话包含的信息量非常大，很多

2022-09-06

5640

为什么回归问题不能用Dropout？

https 网络安全

知乎: Lukan 来源: https://zhuanlan.zhihu.com/p/561124500 最近在做一个nlp的回归任务，所以直接套用之前做分类问题的的代码，仅仅修改了下损失函数而已，结果发现验证损失一直在震荡，不收敛，但是别人的代码loss却能够稳定下降，最终下降到0.1左右，而我的只能却一直飘，最终只下降到0.14，如下图：最后通过对比别人的代码，我发现其实就两行代码的差异：这边把bert内部的dropout全部关掉了，于是我也尝试了这种做法，最终得到这样的一个loss，对比一下

2022-09-06

1K0

影响高端AI炼丹！英伟达、AMD断供高端GPU！

硬件开发 NLP 服务 https 网络安全

每天给你送来NLP技术干货！ ---- 今天看到一条热搜：英伟达。我以为是 RTX 40 系显卡的预热内容，想着距离把我饱经风霜的 2060 换掉又近了一步。结果看到的是： 8月31日，全球两大 GPU 厂商 NVIDIA 和 AMD 均证实，已收到美国政府通知，即刻停止向中国出口旗下高端 AI 芯片。图：英伟达向SEC提交的文件 NVIDIA（英伟达）8 月 31 日向美国证券交易委员会(SEC)提交的一份文件披露，美国政府于 8 月 26 日通知该公司，未来若要出口 A100 和 H100 芯片

2022-09-02

1K0

ACL2022 关系抽取相关论文泛读

https 网络安全 github git 开源

每天给你送来NLP技术干货！ ---- 写在前面今天给大家分享的是是ACL 2022上与实体关系抽取相关的部门论文范读笔记。其中有一些小喵自己也在学习，后续会推出精读笔记。 1. DocRE 论文名称：《Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation》论文链接：https://aclanthology.org/2022.findings-acl.132.pdf 代码地址：htt

2022-08-31

2.3K0

小红书2023届校园招聘正式启动！

https http 网络安全

blocks|key|687289|text||type|atomic|depth|inlineStyleRanges|entityRanges|offset|length|data|687295|687301|687307|687313|687319|687329|687340|687348|687356|687367|687375|687381|687387|687393|entityMap|IMAGE|mutability|IMMUTABLE|imageUrl|https://ask.qcloudim

2022-08-26

3380

当代研究生应当掌握的并行训练方法（单机多卡）

pytorch https 网络安全 github git

每天给你送来NLP技术干货！ ---- 排版：AI算法小喵 1. Take-Away 笔者使用 PyTorch 编写了不同加速库在 ImageNet 上的使用示例（单机多卡）。需要的同学可以当作 quickstart 将所需要的部分 copy 到自己的项目中（Github 请点击下面链接）： nn.DataParallel[1] 简单方便的 nn.DataParallel torch.distributed[2] 使用 torch.distributed 加速并行训练 torch.multiprocessi

2022-08-26

1.6K0

TinyBERT 蒸馏速度实现加速小记

https 网络安全 NLP 服务 github git

每天给你送来NLP技术干货！ ---- 编辑：AI算法小喵写在前面最近做的一个 project 需要复现 EMNLP 2020 Findings 的 TinyBERT[1]，本文是对复现过程对踩到坑，以及对应的解决方案和实现加速的一个记录。 1. Overview of TinyBERT BERT 效果虽好，但其较大的内存消耗和较长的推理延时会对其上线部署造成一定挑战。在内存消耗方面，一系列知识蒸馏的工作，例如 DistilBERT[2]、BERT-PKD[3] 和 TinyBERT 被提出来用以降

2022-08-26

7900

如何看待如今AI顶会审稿（如，某群明码标价审稿bid）？

NLP 服务 https 网络安全腾讯云开发者社区数据分析

每天给你送来NLP技术干货！ ---- 编辑：深度学习自然语言处理公众号最近突然在知乎中引起不小关注的一件事情，具体内容如下：如下图，某群近期在AAAI bid 阶段明码标价，操纵审稿。这种风气在如今顶会论文审稿中是否普遍存在，是否已经帮助了某一些人因此获名、获利。知乎链接： https://www.zhihu.com/question/548211913 背景知识：AAAI是人工智能国际顶会，国内CCF A级别，在NLP领域中，CCF A：ACL、NIPS、AAAI和IJCAI等，CCF B：E

2022-08-26

2K0

一文详解文本语义相似度的研究脉络和最新进展

https 网络安全 NLP 服务机器学习神经网络

每天给你送来NLP技术干货！ ---- ©作者 | 崔文谦单位 | 北京邮电大学研究方向 | 医学自然语言处理编辑 | PaperWeekly 本文旨在帮大家快速了解文本语义相似度领域的研究脉络和进展，其中包含了本人总结的文本语义相似度任务的处理步骤，文本相似度模型发展历程，相关数据集，以及重要论文分享。文本相似度任务处理步骤通过该领域的大量论文阅读，我认为处理文本相似度任务时可以分为一下三个步骤：预处理：如数据清洗等。此步骤旨在对文本做一些规范化操作，筛选有用特征，去除噪音。文本表示：

2022-08-26

2.7K0

PyTorch 常用 Tricks 总结

https 网络安全 pytorch 深度学习 NLP 服务

每天给你送来NLP技术干货！ ---- 炼丹笔记编辑 z.defying@DataWhale 1. 指定GPU编号设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0： os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置当前使用的GPU设备为0, 1号两个设备，名称依次为 /gpu:0、/gpu:1： os.environ["CUDA_VISIBLE_DEVICES"] = "0,1" ，根据顺序表示优先使用0号设备,然后使用1号设备。指定GP

2022-08-26

6160

西湖大学张岳老师实验室招收NLP方向PhD、RA、博后和实习生啦~

https 网络安全 NLP 服务腾讯云开发者社区

每天给你送来NLP技术干货！ ---- 排版：王晋东不在家西湖大学NLP实验室由「张岳」老师带领，现有博士后、博士生和科研助理十余名，以及访问学生数名。实验室研究方向包括自然语言处理、背后的机器学习算法以及相关的应用。现招收PhD、博后、全职科研助理和实习生若干名。关于张岳老师张岳老师现为西湖大学长聘副教授。他于2003年本科毕业于清华大学，2009年博士毕业于牛津大学，2011年完成博后于剑桥大学，2012-2018年于SUTD任教，2018年加入西湖大学。张岳老师学术水平出众，是近几年全球NLP

2022-07-27

1.3K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态