Soul Joy Hub-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Soul Joy Hub

专栏成员

238

文章

209935

阅读量

40

订阅数

【ICLR 2022】Trans-Encoder：通过自蒸馏和相互蒸馏的无监督句对建模

NLP 服务 css 编程算法

自然语言处理和信息检索中的许多任务都涉及句子的成对比较——例如，句子相似性检测、释义识别、问答蕴涵和文本蕴涵。

小爷毛毛_卓寿杰

2022-09-30

6290

【NAACL 2021】AugSBERT：用于改进成对句子评分任务的 Bi-encoder 数据增强方法

目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。通常，提出了两种典型的方法：Bi-encoders 和 Cross-encoders。

小爷毛毛_卓寿杰

2022-09-30

4630

搜索与问答——【NeurIPS 2021】BEIR：信息检索模型零样本评估的异构基准

python 编程算法

论文 BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models 中，作者提出了一种无需训练数据，即可学习（或适应）非对称语义搜索模型的方法。

小爷毛毛_卓寿杰

2022-09-30

1.2K0

搜索与问答——【EMNLP 2021】TSDAE：基于Transformer的顺序去噪自动编码器

TSDAE（Transformer-based Sequential Denoising Auto-Encoder）模型使用纯句子作为训练数据来无监督训练句子向量。在训练期间，TSDAE 将加了噪声的句子编码为固定大小的向量，并要求decoder从这个句子表征中重建原始句子。为了获得良好的重建质量，必须在encoder的句子向量中很好地捕获语义。在后续推理时，我们只使用encoder来创建句子向量。架构如下图所示：

小爷毛毛_卓寿杰

2022-09-30

8190

推荐系统提纲笔记

特征工程神经网络 linux 机器学习编程算法

相关图文Xmind、PDF、视频讲解、代码，请参阅语雀地址：https://www.yuque.com/chudi/tzqav9/ny150b

小爷毛毛_卓寿杰

2022-09-30

4400

论文阅读：《基于机器学习的企业定价算法研究》

企业编程算法 http

http://blog.csdn.net/u011239443/article/details/78126591 《基于机器学习的企业定价算法研究》冯平，宣慧玉，高宝俊 (西安交通大学管理学院．陕西西安710049)

小爷毛毛_卓寿杰

2022-09-30

5510

文本匹配——【ICLR 2022】Trans-Encoder

NLP 服务 css 编程算法

自然语言处理和信息检索中的许多任务都涉及句子的成对比较——例如，句子相似性检测、释义识别、问答蕴涵和文本蕴涵。

小爷毛毛_卓寿杰

2022-07-06

1.2K0

文本匹配——【NAACL 2021】AugSBERT

目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种语言理解任务的基准进行了实质性改进。在 NLP 中的常见任务中，成对句子评分在信息检索、问答、重复问题检测或聚类等方面有广泛的应用。通常，提出了两种典型的方法：Bi-encoders 和 Cross-encoders。

小爷毛毛_卓寿杰

2022-06-30

6130

新晋算法工程师如何快速进入职业状态？

校招毕业的新晋算法同学，在开展工作和自我提升时，往往会比较困惑：为什么我在大学实验室里主要进行算法模型的优化，但进入职场后，却要做这么多与算法无关的工作呢？比如说，数据处理、工程性能、产品形态、业务指标等。

小爷毛毛_卓寿杰

2022-05-18

2770

预训练句子表征——【EMNLP 2021】TSDAE

TSDAE（Transformer-based Sequential Denoising Auto-Encoder）模型使用纯句子作为训练数据来无监督训练句子向量。在训练期间，TSDAE 将加了噪声的句子编码为固定大小的向量，并要求decoder从这个句子表征中重建原始句子。为了获得良好的重建质量，必须在encoder的句子向量中很好地捕获语义。在后续推理时，我们只使用encoder来创建句子向量。架构如下图所示：

小爷毛毛_卓寿杰

2021-12-07

6470

【NeurIPS 2021】GenQ +SBERT

python 编程算法

论文 BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models（https://arxiv.org/abs/2104.08663）中，作者提出了一种无需训练数据，即可学习（或适应）非对称语义搜索模型的方法。

小爷毛毛_卓寿杰

2021-12-07

1.1K0

多任务学习——【ICML 2018】GradNorm

论文链接：https://arxiv.org/pdf/1711.02257.pdf

小爷毛毛_卓寿杰

2021-09-10

1.5K0

《搜索和推荐中的深度匹配》——2.4 推荐中的潜在空间模型

编程算法数据挖掘

接下来，我们简要介绍在潜在空间中执行匹配的代表性推荐方法，包括偏置矩阵分解 (BMF)【1】、Factored Item Similarity Model (FISM) 【2】和分解机 (FM)【3】。

小爷毛毛_卓寿杰

2021-09-10

4970

《搜索和推荐中的深度匹配》——2.2 搜索和推荐中的匹配模型

当应用于搜索时，匹配学习可以描述如下。一组查询文档对D=（q1，d1，r1），（q2，d2，r2），...，（qN，dN，rN）作为训练数据给出，其中 i 和 qi，di和ri（i=1，...，N）分别表示查询，文档和查询文档匹配度（相关性）。每个元组 r）∈D的生成方式如下：查询q根据概率分布P（q）生成，文档d根据条件概率分布P（d∣q）生成，并且相关性r是根据条件概率分布 P（r∣q，d）生成的。这符合以下事实：将query独立提交给搜索系统，使用query words检索与query关联的文档，并且文档与query的相关性由query和文档的内容确定。带有人类标签的数据或点击数据可以用作训练数据。

小爷毛毛_卓寿杰

2021-09-10

1.5K0

《搜索和推荐中的深度匹配》——经典匹配模型 2.1 匹配学习

监督学习 python 编程算法机器学习神经网络

已经提出了使用传统的机器学习技术进行搜索中的查询文档匹配和推荐中的用户项目匹配的方法。这些方法可以在一个更通用的框架内形式化，我们称之为“学习匹配”。除了搜索和推荐外，它还适用于其他应用，例如释义，问题解答和自然语言对话。本节首先给出学习匹配的正式定义。然后，它介绍了传统学习以匹配为搜索和推荐而开发的方法。最后，它提供了该方向的进一步阅读。

小爷毛毛_卓寿杰

2021-09-10

3.7K0

图神经网络——【KDD 2018】PinSage

数据结构编程算法

可以先参阅《图神经网络——【NIPS 2017】GraphSAGE》。本文将基于GraphSAGE来讲讲PinSage

小爷毛毛_卓寿杰

2021-09-10

3860

生成对话的主题与个性化——【IJCAI 2018】《Assigning Personality/Profile to a Chatting Machine》

编程算法 http

简单来算，它就是两个decoder，一个是decoder_backward，一个是decoder_forward，它们初始化输入值都是选择的profile值，如“钢琴”。decoder_backward生成“钢琴”前面的词语，decoder_forward生成“钢琴”后面的词语。

小爷毛毛_卓寿杰

2021-09-10

3900

Python中list的实现

python jquery 编程算法

这篇文章介绍了Python中list是如何实现的。在Python中list特别有用。让我们来看下list的内部是如何实现的。来看下面简单的程序，在list中添加一些整数并将他们打印出来。

小爷毛毛_卓寿杰

2021-09-10

5580

密度聚类DBSCAN、HDBSCAN

数据分析聚类算法编程算法

DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。在DBSCAN算法中将数据点分为三类：

小爷毛毛_卓寿杰

2020-10-27

2.2K0

TensorFlow文本摘要生成 - 基于注意力的序列到序列模型

python 编程算法 apache linux

维基百科对自动摘要生成的定义是, “使用计算机程序对一段文本进行处理, 生成一段长度被压缩的摘要, 并且这个摘要能保留原始文本的大部分重要信息”. 摘要生成算法主要分为抽取型(Extraction-based)和概括型(Abstraction-based)两类. 传统的摘要生成系统大部分都是抽取型的, 这类方法从给定的文章中, 抽取关键的句子或者短语, 并重新拼接成一小段摘要, 而不对原本的内容做创造性的修改. 这类抽取型算法工程上已经有很多开源的解决办法了, 例如Github上的项目sumy, pytextrank, textteaser等. 本文重点讲概括型摘要生成系统的算法思想和tensorflow实战, 算法思想源于A Neural Attention Model for Abstractive Sentence Summarization这篇论文. 本文希望帮助读者详细的解析算法的原理, 再结合github上相关的开源项目textsum讲解工程上的实际应用.本文由PPmoney大数据算法团队撰写，PPmoney是国内领先的互联网金融公司，旗下PPmoney理财总交易额超过700亿元。此外，若对TensorFlow的使用技巧和方法感兴趣，欢迎阅读本团队负责人黄文坚所著的《TensorFlow实战》。

小爷毛毛_卓寿杰

2019-06-11

8520

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态