首页
学习
活动
专区
工具
TVP
发布

NewBeeNLP

专栏成员
368
文章
437208
阅读量
48
订阅数
LEARN:百川大模型在快手推荐中的应用
这一两年推荐的论文工作离不开冷启和长尾问题,就像过去几年离不开序列和多目标一样,所套的壳子也从时序模型发展到对比学习和LLM,更像是“问题长期存在,我们现在有了更好的工具解决”,鸡生蛋与蛋生鸡总是这么的迷人和无所遁形。
NewBeeNLP
2024-07-12
1340
Meta关于深度学习推荐系统的Scaling Law的研究
大家好,这里是 NewBeeNLP。今天看看 Meta 关于深度学习推荐系统 Scaling Law 的研究。
NewBeeNLP
2024-07-12
920
LEARN: LLM在快手电商广告推荐场景的应用
今天继续分享一篇大模型在推荐系统中的落地应用工作,是快手今年5月份发表的论文《Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application》。
NewBeeNLP
2024-06-27
3030
ACL 2024 | 多模态大模型能揭示图像背后的深意吗?
Can Large Multimodel Models Uncover Deep Semantics Behind Images?
NewBeeNLP
2024-06-27
840
ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力,开源框架SymbCoT来了
Faithful Logical Reasoning via Symbolic Chain-of-Thought
NewBeeNLP
2024-06-27
1400
聊一聊搜推广粗排思考
五花八门的说法越来越多,但是粗排的意义本质还是由于在工业界中业务链路性能、算力的约束下,漏斗链路设计中的一环,其使命就是在既定资源、性能约束下从全量候选集合中选出一个“优质候选集合”
NewBeeNLP
2024-06-17
1370
用最酷的LR,训最猛的模型
预训练中,除了模型尺寸、数据、计算量之外,比较重要的就是batch size和learning rate这两个超参数了。从DeepSeek的scaling law工作[1]中可以看到,不同的学习率可以让loss有一定的波动,影响模型收敛。
NewBeeNLP
2024-06-17
1380
搜推广生死判官:重排技术发展
全文1.2W字,PC阅读戳:https://f0jb1v8xcai.feishu.cn/wiki/LPlAwm6vSiesFBkysh8csZYfn1g
NewBeeNLP
2024-06-17
1270
从头预训练一只超迷你 LLaMA 3
这次打算用 Hugging Face 的 API 来写一份预训练大(小)模型的代码,也就是用 Trainer 来做预训练。由于只是想练习一下,因此打算选一个极小模型 + 小数据集。为了贴近主流,于是打算预训练一个 LLaMA 3——不过是超迷你版本,大小仅不到 20M。
NewBeeNLP
2024-06-04
2360
蚂蚁:多模态方向的技术探索
视频多模态检索在蚂蚁内部有着广泛的应用。视频多模态检索具体包括两个方向,一个是视频-文本的语义检索,另外一个是视频-视频的同源检索。
NewBeeNLP
2024-06-04
1370
大模型预训练中的数据处理及思考
作者:赵亮,NLPer;昆仑万维 · 预训练。 原文:https://zhuanlan.zhihu.com/p/641013454 整理: 青稞AI
NewBeeNLP
2024-06-04
7010
NoteLLM: 大语言模型在小红书推荐系统的落地应用
今天分享一篇小红书今年3月的论文,介绍了大语言模型在小红书笔记推荐场景下的落地应用,主要是围绕如何利用LLM的表征能力来生成更适用于i2i召回的文本embedding,思路简单,落地也容易,个人觉得实践价值非常高,值得学习。
NewBeeNLP
2024-06-04
4690
快手在召回场景GPT范式的尝试
RecGPT: Generative Personalized Prompts for Sequential Recommendation via ChatGPT Training Paradigm
NewBeeNLP
2024-05-22
1701
「大模型」之所短,「知识图谱」之所长
去年 ChatGPT 问世的初期,还曾有声音说知识图谱已经过时了,将被大模型所替代。然而,随着这一年来的深入探讨和研究,目前业界普遍认为,大语言模型和知识图谱各有所长,能够互相补充[1,2]。
NewBeeNLP
2024-05-15
7240
综述来啦!港大发布SSL4Rec:170篇「自监督学习」推荐算法
推荐系统对于应对信息过载挑战至关重要,它们根据用户的个人偏好提供定制化推荐。近年来深度学习技术极大地推动了推荐系统的发展,提升了对用户行为和偏好的洞察力。
NewBeeNLP
2024-05-14
3900
DPO作者新作|From r to Q*
本文几乎是DPO的原班人马搞的,新来的Joey Hejna是X-QL(本文部分核心理论)一作。这篇文章并没有提出一个新的算法,或者是在一个新的任务上刷了SOTA,主要是对DPO算法给出了一个理论解释,统一了处理LLM强化学习任务的两个视角,即序列决策还是单步决策。用强化学习的语言就是说dense or sparse reward,r or Q*。而后者这个Q*有不禁让人联想到OPENAI“泄露的Q*计划”。应该说还是有其理论价值的。
NewBeeNLP
2024-05-14
1870
GPT-4o:深夜炸场,她 来了!
在我们的深夜、太平洋时间的上午 10 点,OpenAI 召开春季发布会,推出了一款名为GPT-4o的“旗舰级”生成式人工智能模型,并将在未来几周内在公司面向开发者和消费者的产品中迭代推出。该模型将向免费客户开放,这意味着任何人都可以通过 ChatGPT 访问 OpenAI 最先进的技术。
NewBeeNLP
2024-05-14
2740
图推荐系统综述:A Survey of Graph Neural Networks for Recommender System
第一次整理综述,作为深入这个方向的开始。应该不如AI整理的详细全面,不过这一篇文章主要是阅读时整理的一些对我来说有帮助的点,供自己未来存档回顾细节。
NewBeeNLP
2024-05-06
8030
ICLR 2024 || 图学习领域,注意力IS OFTEN NOT ALL YOU NEED!!!
论文题目:Distinguished in Uniform: Self-Attention vs. Virtual Nodes
NewBeeNLP
2024-04-26
2280
苹果卷开源大模型,OpenELM亮相
要说 ChatGPT 拉开了大模型竞赛的序幕,那么 Meta 开源 Llama 系列模型则掀起了开源领域的热潮。在这当中,苹果似乎掀起的水花不是很大。
NewBeeNLP
2024-04-26
1410
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档