腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

秋枫学习笔记

专栏作者

185

文章

102441

阅读量

29

订阅数

RAT：检索增强的Transformer用于CTR估计

函数排序设计 text 编码

本文针对ctr预估中如何进行有效的特征交互提出新的方法。目前的方法主要集中于对单个样本内的特征交互进行建模，而忽略了潜在的跨样本间的关系，这些关系可以作为增强预测的参考上下文信息。为本文提出了一种检索增强的Transformer（RAT），获取样本内部和样本之间的细粒度特征交互。

秋枫学习笔记

2024-04-11

930

SIGIR'24 | 打破长度障碍：LLM增强的长文本用户行为CTR预测

效率 LLM 存储编码模型

LLM4CTR在训练推理中主要存在以下问题：LLM在处理长文本用户行为时的效率很低，随着用户序列的增长，LLM的效率无法对数十亿用户和商品进行训练。

秋枫学习笔记

2024-04-11

1380

PPM: 把预训练模型作为插件嵌入CTR模型中

缓存编码插件产品模型

相对于传统的ID形式的推荐系统（IDRec），本文在模型中引入预训练模型，但预训练模型的参数很多，会导致延迟增加。因此，大部分无法在推荐系统中使用。本文提出一种即插即用的方法，即PPM。PPM采用多模态特征作为输入，并利用大规模数据进行预训练。然后，将PPM插入到IDRec模型中，以提高统一模型的性能和迭代效率。在合并IDRec模型后，缓存网络内的某些中间结果，只有参数的子集参与训练和推理。因此，可以部署端到端模型，而不会增加延迟。

秋枫学习笔记

2024-03-26

1630

MultiFS: 深度推荐系统中的自动多场景特征选择

模型性能优化推荐系统框架

传统的多场景推荐系统(MSRS)通常不加区别的使用所有相关的特征，忽视了特征在不同场景下的不同重要性，往往会导致模型性能下降。本文提出了多场景特征选择(MultiFS)框架来解决此问题，MultiFS能考虑场景间的关系，并通过分层门控机制为每个场景选择独特的特征。

秋枫学习笔记

2024-03-18

1810

Meta | Wukong：推荐系统中的Scaling Law探索

meta scaling 模型压缩推荐系统

Scaling laws在nlp，cv领域的模型改进方面起着重要作用，但是目前推荐模型并没有表现出类似于在大型语言模型领域观察到的规律，本文在模型本身结构上做出调整，提出了一种基于堆叠的因子分解机（FM）的网络架构Wukong，以在推荐领域建立一个缩放定律，所提模型复杂性每增加四倍性能提高0.1%。

秋枫学习笔记

2024-03-18

2200

华为 | LTV预测：基于对比学习的多视角模型

框架模型数据函数华为

本文是华为提出用于客户生命价值预测(LTV)的对比学习多视角网络(CMLTV)，主要针对目前存在的LTV预估方法采用单视角建模导致准确度低和知识提取存在偏差的问题。本文提出的多视角网络优点在于：1.即插即用的模块，兼容大部分基准网络；2.集成多个具有互补知识的异构LTV回归器，以提高模型的鲁棒性；3.通过对比学习捕捉样本之间的相关性，减轻对数据丰富性的依赖

秋枫学习笔记

2024-03-06

2270

行为感知Transformer：用于多行为序列推荐的

alpha 编码产品基础设计

本文主要针对序列推荐中的多行为序列推荐，即行为序列中包含不同的行为类型，比如点击，加购，购买等。为了捕获用户的个性化行为模式和行为间的复杂协作关系，作者提出PBAT方法：

秋枫学习笔记

2024-02-27

2060

快手 | 通过分桶的方式进行LTV预估

网络压缩连接模型数据

本文是快手提出的用在工业场景的用户生命周期(LTV)预测方案，主要思想有三部分：1.提出了有序依赖单调网络(ODMN, Order Dependency Monotonic Network)对不同时间跨度LTV之间的有序依赖关系进行建模，解决现有模型对于跨度较长的LTV预估误差较大的问题；2.提出多分布多专家(MDME, Multi Distribution Multi Experts)模块，基于分而治之思想将整体数据分布拆分成多桶的数据子分布，解决LTV建模中数据复杂且分布不平衡问题；3.提出相对基尼系数，用于定量衡量模型拟合不平衡标签分布的能力。

秋枫学习笔记

2024-02-27

2610

expLTV：通过专家网络路由和高价值用户识别进行LTV预测

设计网络函数基础路由

本文是针对LTV（生命周期价值）预估，提出的相关方法。主要是在以往LTV预估方法的基础上去额外考虑“鲸鱼”用户的分布，所谓鲸鱼用户就是具有高消费能力的用户，以游戏为例，用户的消费情况基本符合二八定律，即20%的“鲸鱼”用户提供了80%的成交收益。下文中主要就以高价值和低价值用户来分别指代两类用户，作者发现高价值用户和低价值用户的分布是存在明显差异的，若是一起训练会预测的不准，所以设计了ExpLTV方法：

秋枫学习笔记

2024-01-29

2720

DEI2N：捕捉用户动态即时兴趣进行CTR预估

学习笔记设计实践推荐算法网络

本文是针对触发诱导推荐（Trigger-Induced Recommendation，TIR）提出的推荐算法，所谓TIR就是比如在大促活动会场点击某个item后会跳转到承接页，承接页里会有相关的商品，这些商品就是通过点击前面的item触发的，这个item有点像一个“钩子”。例子如下图所示

秋枫学习笔记

2024-01-23

1810

UFIN：用于多域点击率预测的通用特征交互网络

编码模型数据网络迁移

本文是针对多场景CTR预估中的特征交互提出的相关改进方法，利用LLM构建通用特征交互网络。常规的方法在迁移到新的推荐域会存在一定的问题，因为它们依赖于ID特征（例如，item ID）的建模。本文提出了用于CTR预测的通用特征交互网络（UFIN）方法，利用文本数据来学习可以在不同domain有效迁移的通用特征交互。总体框架分为两部分：通用特征学习和基于通用特征的通用特征交互学习。

秋枫学习笔记

2024-01-17

2490

STEM：释放多任务推荐中embedding的力量

embedding 函数设计网络迁移

本文主要针对多任务学习在推荐系统中应用时的负迁移问题提出的相关方法。现有的方法通常是在所有样本中探索负迁移性，忽略了其中固有的复杂性。作者根据任务之间的相对正反馈量对样本进行拆分，从而深入研究样本的复杂性。

秋枫学习笔记

2024-01-10

2280

AT4CTR: 对比学习构建辅助任务提升CTR预估性能

sum 函数模型数据性能

本文主要是针对CTR预估中数据稀疏性问题提出的相关方法，再原有的ctr预估模型中引入了一个辅助匹配任务，通过对比学习来提高点击率预测精度（AT4CTR）。两个受协同过滤启发的匹配任务，以增强用户和item之间的相关性建模。

秋枫学习笔记

2024-01-03

3050

CTRL：对齐协作信号和LLM语义信息进行CTR估计

表格函数模型数据 LLM

传统的CTR预估模型，是将表格型数据转换为ont hot向量，然后考虑特征之间的交互来推断用户的偏好，但是这种方式忽略了特征的语义信息。现有的LLM推荐方法图P5，M6 Rec考虑了语义信息但是效率低，并且没有考虑有用的协作关系。

秋枫学习笔记

2023-12-19

1940

近期LLM4Rec前沿论文汇总

推荐系统论文模型数据效率

简单汇总了一下LLM4Rec的最新进展，希望对大家有帮助，部分文章已经解读过，后续也会对其中的一些有趣的文章进行阅读。

秋枫学习笔记

2023-12-13

3070

超长序列推荐：如何让推荐系统“读懂”你的“人生轨迹”

推荐系统编码二进制模型网络

随着电商平台数据的不断积累，每个用户都会积累大量的历史行为数据，形成一个超级长的行为序列。超长序列推荐的问题应运而生，其研究在用户行为序列非常长的情况下，如何利用这些历史数据来预测用户的兴趣并进行推荐。这种情况在许多领域中都很常见，比如基因组学、金融和自然语言处理。然而，传统的推荐系统往往难以处理这些超长序列。因此，研究人员们近年来一直在探索各种方法来解决这个问题。本文聚焦于方法层面，将相关工作分为两类进行介绍：基于记忆增强网络的方法和基于检索的方法。

秋枫学习笔记

2023-12-13

2760

ControlRec：对齐LLM和推荐系统之间的语义差异

推荐系统编码函数模型 LLM

标题：ControlRec: Bridging the Semantic Gap between Language Model and Personalized Recommendation 地址：https://arxiv.org/pdf/2311.16441.pdf 学校，公司：中国科学院大学，美团

秋枫学习笔记

2023-12-04

4320

UHGEval：无约束生成下的中文大模型幻觉评估

工作框架模型数据系统

大规模语言模型的蓬勃发展带来了许多潜在的机遇，然而，幻觉问题却成为实际应用落地前需要克服的重要障碍。幻觉表现为模型生成的内容与用户输入、模型输出上下文或实际事实信息不一致的现象。在对事实准确性要求较高的专业领域，包括医学、法律、金融和新闻等，幻觉问题尤为显著。例如，在新闻生成领域，事实的准确性、信息的时效性以及内容的逻辑性是至关重要的。一个错误的体育比分、一个错误的引述或者一个错误的时间都可能导致信息的不准确，进而影响到读者对新闻的信任度。

秋枫学习笔记

2023-11-30

3870

GDCN：Deeper, Lighter, Interpretable的CTR预测网络

模型网络性能压缩优化

本文主要是针对ctr预估中特征交互方面提出的相关方法，是对DCNv2的改进。DCN和DCNv2可以参考https://zhuanlan.zhihu.com/p/433086709，这里就不赘述了。现有方法存在三个问题：

秋枫学习笔记

2023-11-27

5470

LLM4Rec的一点小总结和分享

推荐系统跨域论文数据 LLM

最近看了一些LLM4Rec的论文，做了一丢丢小分享和小总结，这里也分享给大家，希望有所帮助。

秋枫学习笔记

2023-11-19

2420

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态