首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

广告行业中那些趣事系列16:NLPer一定要知道的BERT文本分类优化策略及原理

摘要:本篇主要分享了项目实践中的BERT文本分类优化策略和原理。首先是背景介绍及优化方向,其中优化方向主要分成从数据层面优化和模型层面优化;然后通过实验的方式重点分析了分类器优化策略和原理,主要从优化BERT预训练权重和分类器模型内部优化策略优化分类器效果;最后分享了一些关于BERT优化的思考和总结,包括分类层是否应该复杂化、长文本处理、增加新知识和灾难性遗忘问题的处理。优化永无止境,本篇内容也会持续更新,把项目实践中有价值的优化技巧通过文章及时固化,也希望更多的小伙伴一起分享文本分类优化技巧。

01

Go每日一库之115:go-diff

纯文本差异对比在许多场景下都有应用,如语音识别技术对识别率的评估,需要将识别后的文本与预期文本之间做差异对比计算;又如我们使用 Git 进行代码提交时,通常会使用git diff来查看这次编辑发生了哪些改动。 这里我们先简单定义一下差异 diff:是指目标文本和源文本之间的区别,也就是将源文本变成目标文本所需要的操作。 以上问题的一个通常解决方案是 Eugene W.Myers 在 1986 年发表的一篇论文 An O(ND) Difference Algorithm and Its Variations中提出的 Myers 差分算法,该算法是一个能在大部分情况产生「最短的直观的 diff」的算法。 google/diff-match-patch 项目是 Myers 差分算法的一种实现。但是该项目缺少 Golang 语言的一个实现。 go-diff 就是 google/diff-match-patch 项目的一个 Golang 版本的补充。 go-diff 主要提供三个功能:

08
领券