【文本检测与识别-白皮书-3.1】第二节：基于分割的场景文本检测方法

像素级别的文本检测方法通常借鉴物体语义分割和实例分割的思想，利用全卷积神经网络(fully convolution network，FCN)(Long 等人，2015)对图像中的每个像素点进行文本和非文本分类，从而得到文本区域掩码图(Mask)。然后通过一些像素聚合的后处理方式将属于同一文本的文本像素点聚合在一起得到最后的文本实例边界框。

性能媲美BERT，但参数量仅为1/300，这是谷歌最新的NLP模型

在过去的十年中，深度神经网络从根本上变革了自然语言处理（NLP）领域的发展，但移动端有限的内存和处理能力对模型提出了更高的要求。人们希望它们可以变得更小，但性能不打折扣。

谷歌推出新模型「pQRNN」，少量参数下进行文本分类，性能堪比BERT

深层神经网络的快速发展在过去的十年中彻底改变了自然语言处理(NLP)领域 。同时，诸如保护用户隐私、消除网络延迟、启用离线功能以及降低运营成本等问题，迅速推动了可以在移动设备而不是在数据中心运行的 NLP 模型的发展。

txtai简易教程

txtai执行机器学习工作流来转换数据，并构建支持人工智能的文本索引来执行相似性搜索。txtai支持索引文本片段、文档、音频和图像。管道和工作流支持使用机器学习模型转换数据。下面的文章提供了对txtai的介绍。

NLTK-004：加工原料文本

所以假设获取到了内容。变量raw是这本书原始的内容，包括很多我们不感兴趣的细节，如空格、换行符和空 行。请注意，文件中行尾的\r 和\n，是 Python 用来显示特殊的回车和换行字符的方式

深度 | 万物向量化：用协作学习的方法生成更广泛的实体向量

选自blog.insightdatascience 作者：Javed Qadrud-Din 机器之心编译 参与：Edison Ke、刘晓坤 来自 Insight 的 Javed Qadrud-Din 开源了一种通用的实体嵌入算法，相比谷歌的 word2vec 模型能实现更广泛实体（包括名人、商家、用户等）的嵌入、更高的准确率以及少 4 个数量级的数据需求量。 GitHub 链接：https://github.com/javedqadruddin/person2vec Javed Qadrud-Din 先前曾

关键词高亮：HTML字符串中匹配跨标签关键词

很久之前写过一个Vue组件，可以匹配文本内容中的关键词高亮，类似浏览器ctrl+f搜索结果。实现方案是，将文本字符串中的关键字搜索出来，然后使用特殊的标签（比如font标签）包裹关键词替换匹配内容，最后得到一个HTML字符串，渲染该字符串并在font标签上使用CSS样式即可实现高亮的效果。

【Google 重磅突破】相比LSTM，NLP 关键任务提升 20%

自然语言理解是人工智能的核心技术，在智能客服、聊天助手、文本推荐、语义理解等领域都有非常多的应用。但自然语言理解相比图像识别、语音识别，一直没有找到很好的深度学习构型，所以进展也比较缓慢。今天推荐的 Google 论文，在 NLP 的关键任务（接续语句预测）上，能做到 20% 的提升。除此之外，在接续词语预测、语句话题预测方面也有不错的成绩。 自然语言理解（NLP）是人工智能领域使用程度最高的技术之一。受益于最近 自然语言理解技术的发展，现在已经可以应用在很多领域，例如航班预定、客服服务、任务管理、聊

使用Logstash filter grok过滤日志文件

“Eason，企业一线运维实战者，马哥教育原创作者联盟成员，热爱分享Linux应用技术的感想和原创知识。” Logstash Filter Plugin Grok Logstash提供了一系列filter过滤plugin来处理收集到的log event，根据log event的特征去切分所需要的字段，方便kibana做visualize和dashboard的data analysis。所有logstash支持的event切分插件查看这里。下面我们主要讲grok切分。 Grok基本介绍 1.Grok 使用

使用UMAP降维可视化RAG嵌入

大型语言模型（LLMs）如 GPT-4 已经展示了出色的文本理解和生成能力。但它们在处理领域特定信息方面面临挑战，比如当查询超出训练数据范围时，它们会产生错误的答案。LLMs 的推理过程也缺乏透明度，使用户难以理解达成结论的方式。

AAAI 2020 | 清华大学：棋盘游戏做辅助，进行跳跃式标注（视频解读）

本文是对清华大学完成，被 AAAI2020 录用的论文《Solving SequentialText Classification as Board-Game Playing》进行解读。

干货 | 知识库全文检索的最佳实践

很多文档已经被转化成扫描版的PDF，之前我们认为PDF类型是最终的文档格式，现在看来，我们想听听建议（比如：xml是不是更好呢？）

多模态对比语言图像预训练CLIP：打破语言与视觉的界限

一种基于多模态（图像、文本）对比训练的神经网络。它可以在给定图像的情况下，使用自然语言来预测最相关的文本片段，而无需为特定任务进行优化。CLIP的设计类似于GPT-2和GPT-3，具备出色的零射击能力，可以应用于多种多模态任务。

聊聊我的AI大黄蜂：Copy is All You Need背后的故事

最近我们的 ICLR 论文 Copy is All You Need 在国内外引发了一些讨论，甚至因为名字差点火出了圈，作为始作俑者的我和蔡登兰天瑟瑟发抖，深感对不起我鹅。我也默默的庆幸，幸亏这篇 paper 的单位没有挂现单位，否则。。。懂的自然懂。

ICDAR 2019论文：自然场景文字定位技术详解

自然场景图像中的文字识别应用广泛，其中文字定位是最重要的一步，但技术上极具挑战。本文提出了一个高效的场景文本检测框架，取得了明显的效果提升。

评论区背后的人工智能

中国的购物或服务平台大都有评论区，相信很多人对给个好评这句话都不陌生。Zendesk公司也一样，他们有一个专门用来让客户评论留言的论坛，在这个论坛上，客户会留下自己的意见或建议，然而事实上，和国内许多评论区一样，不是每条留言都有用。

降低检索系统搭建门槛，轻松实现 RAG 应用！Zilliz Cloud Pipelines 惊喜上线

Zilliz Cloud Pipelines 可以将文档、文本片段和图像等非结构化数据转换成可搜索的向量并存储在 Collection 中，帮助开发者简化工程开发，助力其实现多种场景的 RAG 应用，将复杂生产系统的搭建和维护简化成 API 调用。

互联网时代的社会语言学：基于SNS的文本数据挖掘

2014年上半年，我在人人网实习了一段时间，期间得到了很多宝贵的数据，并做了一些还算有意义的事情，在这里和大家一块儿分享。感谢人人网提供的数据与工作环境，感谢赵继承博士、詹卫东老师的支持和建议。在这项工作中，我得到了很多与众人交流的机会，特别感谢 OpenParty 、 TEDxBeijing 提供的平台。本文已发表在了《程序员》杂志，分上下两部分刊于 2012 年 7 月刊和 8 月刊，在此感谢卢鸫翔编辑的辛勤工作。由于众所周知的原因，《程序员》刊出的文章被和谐过（看到后面大家就自动地知道被和谐的内

Google内核浏览器 快速 轻巧 方便

没错，你看到的 QQ 浏览器，360 浏览器等等等等都是基于 Google 浏览器开源框架构造。优势需要说嘛？碾压 IE 内核 所以骚年，不动手打造一个属于你自己的浏览器？

Cloudflare 推出免费的隐私保护工具 Turnstile，替代传统 CAPTCHA

Cloudflare 最近宣布 Turnstile 现已全面推出并免费提供给所有用户。Turnstile 被设计为传统的挑战 - 响应测试的替代方案，它是一个复选框，旨在保护用户隐私、阻止机器人，并提升用户体验。

在印度展开全球文献数据挖掘，美国专家的大胆做法登上Nature

Carl Malamud 站在服务器前，他的团队准备对 7300 万篇论文进行数据挖掘。

网站页面优化：描述（DESCRIPTION）

描述标签，用于汇总网页内容，大概155个字符片段，搜索引擎有时会在搜索结果中展示这些内容，以便访问者在点击页面之前了解页面的内容。如果谷歌认为网页提供的元描述谷歌认为不够好，谷歌会根据网页内容自动生成更适合的网页摘要，使结果与查询字词更相关。由此可见元描述优化对页面基础优化至关重要，吸引用户点击你的链接。

干货|互联网时代的社会语言学：基于SNS的文本数据挖掘

今年上半年，我在人人网实习了一段时间，期间得到了很多宝贵的数据，并做了一些还算有意义的事情，在这里和大家一块儿分享。感谢人人网提供的数据与工作环境，感谢赵继承博士、詹卫东老师的支持和建议。在这项工作中，我得到了很多与众人交流的机会，特别感谢 OpenParty 、 TEDxBeijing 提供的平台。本文已发表在了《程序员》杂志，分上下两部分刊于 2012 年 7 月刊和 8 月刊，在此感谢卢鸫翔编辑的辛勤工作。由于众所周知的原因，《程序员》刊出的文章被和谐过（看到后面大家就自动地知道被和谐的内容是什么了），因而我决定把完整版发在 Blog 上，同时与更多的人一同分享。对此感兴趣的朋友可以给我发邮件继续交流。好了，开始说正文吧。

KDD 2018 | 腾讯提出用于文本匹配的多信道信息交叉模型，在真实任务中表现优异

选自腾讯 机器之心编译 参与：张倩、路 来自腾讯 MIG 移动浏览产品部和阿尔伯塔大学的研究者提出一种用于文本匹配的新模型 MIX，这是一个多信道信息交叉模型，大大提升了文本匹配的准确率，在 QQ 浏览器搜索直达业务使用中也表现出了优秀的性能，相对提升点击率 5.7%。目前，这篇长论文已经被 KDD 2018 接收。 1 引言 短文本匹配在信息检索、问答、对话系统等自然语言处理任务中起着至关重要的作用。早期的文本匹配方法包括基于检索知识库的自动问答，以及基于词匹配和特征交叉（feature crossin

达观数据如何打造一个中文NER系统

1 NER简介 NER（Named Entity Recognition，命名实体识别）又称专名识别，是自然语言处理中常见的一项任务，使用的范围非常广。命名实体通常指的是文本中具有特别意义或者指代性非常强的实体，通常包括人名、地名、机构名、时间、专有名词等。NER系统就是从非结构化的文本中抽取出上述实体，并且可以按照业务需求识别出更多类别的实体，比如产品名称、型号、价格等。因此实体这个概念可以很广，只要是业务需要的特殊文本片段都可以称为实体。以下将详细介绍达观数据在文本语义理解过程中是如何构建中文NER系统

多模态对比语言图像预训练CLIP：打破语言与视觉的界限

项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实战掌握技能，助力用户更好利用 CSDN 平台，自主完成项目设计升级，提升自身的硬实力。

Mac 效率工具必备神器 —— Alfred

链接: https://pan.baidu.com/s/1S1KveIcFhXB9_oT-fZxQqg 密码: l9b4

ChatGPT 引爆向量数据库赛道

最近，为 ChatGPT 等生成式 AI 应用提供向量搜索、向量数据存储、向量嵌入等功能的向量数据库赛道突然走红，两家初创公司 Pinecone 和 Weaviate 共获 10 亿元融资，融资时间仅间隔6天，而 Shopify、Brex、Hubspot 等公司正在将向量数据库和 Embedding 作为其 AI 应用的基础。

ChatGLM2 源码解析：`ChatGLMTokenizer`

【Pre-Training】GPT：通过生成式预训练改善语言理解

今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Generative Pre-Training》，截止目前共有 600 多引用。

自然语言处理｜词嵌入的演变

文本嵌入，也称为词嵌入，是文本数据的高维、密集向量表示，可以测量不同文本之间的语义和句法相似性。它们通常是通过在大量文本数据上训练 Word2Vec、GloVe 或 BERT 等机器学习模型来创建的。这些模型能够捕获单词和短语之间的复杂关系，包括语义、上下文，甚至语法的某些方面。这些嵌入可用于语义搜索等任务，其中文本片段根据含义或上下文的相似性进行排名，以及其他自然语言处理任务，如情感分析、文本分类和机器翻译。

GPT4-Turbor 128k ？ 还不够？还不够！

OpenAI 去年11月 推出的GPT-4 Turbo模型，具有128K的上下文窗口，这比此前 GPT4 的最大上下文值 32K 提升了四倍。

【玩转腾讯云】【腾讯云语音合成TTS】短视频批量生成器

疫情期间发现一个有趣的现象，有一类短视频父母刷抖音的时候经常会看到，这类视频只有一个或多个简单的背景图片，配合一段文字录音，讲一段新闻、故事、或者鸡汤。我想可能是他们对纯文本或者纯语音的内容都不感兴趣，更容易接受短视频这样简单的内容形式。又想到腾讯云有语音合成的产品，加上ffmpeg等视频处理工具，是不是可以批量生成一些这类短视频呢。

弹幕挖掘在综艺节目热点分析中的应用初探

作者：黄耀鹏， 腾讯PCG数据分析工程师 |导语 视频弹幕作为视频内容延伸、以及用户喜好反馈的一部分，有着巨大的挖掘价值。本文旨在通过运用文本挖掘技术，从弹幕中挖掘综艺节目热点话题，助力平台精准把握用户消费偏好、提升节目运营效率。 声明：本文运营方案相关的思考为个人观点，不代表腾讯视频既有运营方案和平台价值取向。本文仅纯粹作为个人感兴趣的技术研究总结。抛砖引玉，期待感兴趣的同学一起交流探讨。 1. 业务场景思考 1.1 视频弹幕的本质 弹幕文化，首先兴起于ACG社区等小众群体。而随着B站等弹幕视频网站的

[预训练语言模型专题] Transformer-XL 超长上下文注意力模型

5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]

谷歌全新机器学习架构，轻松改变句子的情绪，复杂性和时态

这种技术可能在未来会用于复述，机器翻译和会话系统。它可以作为11月微软研究所展示的系统的补充，后者利用复杂的自然语言处理技术推理弱结构化文本中的关系。

Paste for Mac(剪切板管理工具) v3.1.5免激活版

Paste Mac版是一款功能强大的剪切板管理工具，可以帮助你自动保存您复制的所有内容，无论其格式如何 - 文本，图片，屏幕截图，链接等，然后将所需内容拖放到Mac或应用程序的任何位置，非常简单方便，节省你的工作流程！

教你快速上手AI应用——吴恩达AI系列教程 第二课

人工智能风靡全球,它的应用已经渗透到我们生活的方方面面,从自动驾驶到智能家居,再到医疗辅助和量化交易等等。他们逐渐改变了我们的生活方式,然而,对于许多人来说,AI仍然是一个神秘且无法理解的领域。

登顶GLUE的百度ERNIE再突破：语言生成预训练模型ERNIE-GEN刷新SOTA

过去一年，百度提出的 ERNIE 通过持续学习海量数据中的知识在中英文十六个自然语言理解任务上取得领先效果，并在去年 12 月登顶权威评测榜单 GLUE 榜首。ERNIE 在工业界也得到了大规模应用，如搜索引擎、新闻推荐、广告系统、语音交互、智能客服等。今日，研究团队又在自然语言生成任务上实现新的突破。

Python自定义HtmlTestRunner测试报告

简述 使用selenium webdriver + Python做自动化测试，执行完成后要生成测试报告，Python我们使用的HTMLtestrunner 进行生成，但是默认提供的生成报告内容，并不能满足我们的需求，怎么才能让测试报告数据更清晰，内容更丰富呢。对于一些人来说，可能已经重写了报告生成方式，放弃使用HTMLtestrunner。但是对于python小白可能还做不到，只能用现有东西进行展示，那么下面简单介绍通过修改HTMLtestrunner去实现想要的内容。 先通过两张图片对比

当BERT遇上搜索引擎

前两天刷到一篇有意思的paper，文中将信息检索工具Anserini和BERT结合，实现了一个开放域的问答系统。

JSP总结

language属性：用来设置JSP页面使用的语言，默认值是java，而且只有一个值就是java

milvus的二值索引与浮点数索引的性能对比

因为在论文查重的时候，需要从大量的文本片段中找到相似的片段，在做技术选型的时候，需要将比对库中的文本片段先生成simhash，然后选择了milvus做向量的高速检索。虽然我们本身比较熟悉ES，不过ES太重，对机器的要求很高，并不适合我们的场景，而且估计就向量检索而言，ES的性能估计会比milvus低很多。milvus很早前就有了解，不过并没有实际使用过，安排了工程师对它进行熟悉。不过同事探索一两天说，这个向量检索有问题，没有出来预期的结果。于是只能自己去探索一下，协助定位问题，顺便比较一下milvus的性能。

无OpenAI，Elastic ELSER 与 Q&A 模型配合实现语义搜索与问题回答

这个视频展示了 Elastic 中的 ELSER 和 Q&A 模型，它们是两个基于自然语言处理的模型，可以提供高度相关的搜索结果和准确的问题回答，而不需要依赖 OpenAI 的服务。ELSER 是一个基于词扩展的语义搜索模型，它可以通过扩展查询中的关键词，找到与查询意图最匹配的文本。Q&A 模型则是常用的NLP模型，它可以从 ELSER 检索到的文本片段中提取出问题的答案。视频中演示了几个不同的查询，比较了 ELSER 和 BM25 的结果，并展示了 Q&A 模型如何从返回的文本中找到答案。BM25 是一个传统的基于词频和逆文档频率的搜索算法，它只关注查询中的关键词，而不考虑其在语料库中的近似程度。因此，BM25 的结果往往不够相关或准确。

PDF.js实现个性化PDF渲染（文本复制）

这种实现方式优缺点都很明显： 优点：自带“打印”，“搜索”，“翻页”等功能，强大且实现方便。 缺点：不同浏览器的pdf工具样式不一，且无法满足个性化需求，比如：禁止打印，下载等。

Guava-1.16类Joiner

一个用分隔符合并文本片段的类，也可以合并数组，迭代，变量，甚至map。 可以将结果添加到一个Appendable类或者直接返回String。 如果没有指定skipNulls(),useForNull(String)，那么合并的方法的任何参数是null都会报错。

NLP将迎来黄金十年，7个案例带你入门（附Python代码）

导读：近日，微软研究院发文称，NLP即将迎来“黄金十年”。他们认为，各领域对NLP的需求会大幅度上升，对NLP质量也提出更高要求。如果你想赶上这“黄金十年”，现在好好学习还来得及！

LlamaIndex 联合创始人下场揭秘：如何使用私有数据提升 LLM 的能力？

ChatGPT 的爆火证明了大型语言模型（LLM）在生成知识和推理方面的能力。不过，ChatGPT 是使用公共数据集进行预训练的模型，因此可能无法提供与用户业务相关的特定答案或结果。

HTML DOM

DOM 文档对象模型。 节点 元素 即 标签 Element 1 文本 文本 Text 3 属性 Attr 2 注释节点 Comment 8 文档节点 Document 9 文档类型节点 DocumentType 10 <!DOCTYPE html> 文档片段节点 DocumentFragment 11 Javascript obj.nodeName obj.nodeValue obj.attributes[0].nodeName

BERT模型的优化改进方法！

每天给你送来NLP技术干货！ ---- 作者：Coggle数据科学 BERT模型的优化改进方法！ 简介 本文为论文《BERT模型的主要优化改进方法研究综述》的阅读笔记，对 BERT主要优化改进方法进行了研究梳理。 BERT基础 BERT是由Google AI于2018年10月提出的一种基于深度学习的语言表示模型。BERT 发布时，在11种不同的NLP测试任务中取得最佳效果，NLP领域近期重要的研究成果。 BERT基础 BERT主要的模型结构是Transformer编码器。Transformer是由