炼丹笔记

154 篇文章
21.1K 次阅读
27 人订阅

全部文章

炼丹笔记

双塔模型中的负采样

推荐模型中双塔模型早已经普及.一个塔学用户表达.一个塔学item表达.很多双塔模型用各种各样的in-batch负采样策略.十方也是如此.往往使用比较大的batc...

8530
炼丹笔记

遇到曝光偏差怎么办?用对比学习!

推荐系统中常常需要在亿级别的候选集中找到上百个相关的item,俗称DCG问题(Deep candidate generation)。通常处理这类问题采用的类似语...

10330
炼丹笔记

DoubleEnsemble--专治硬样本的神奇集成技术。

本文,我们介绍一种新的集成算法,算法的基本思想是希望让噪音样本的权重减小,让难以分类的样本权重增大从而提升模型的效果,从论文的思路和实验结果来看都是非常不错的,...

7140
炼丹笔记

PyCaret!又一个神仙ML库!

PyCaret这个开源工具,用起来可谓简单至极,少量代码就可以搭建各种端到端的模型,废话不多说,直接看实战。

9030
炼丹笔记

内容流推荐中的个性化标题生成框架

最近读了两篇微软亚研院的论文,关于新闻内容流推荐的,简单分享一下,主要包含两部分,第一部分《NPA: Neural News Recommendation w...

7050
炼丹笔记

漫谈特征缩放

说起"炼丹"最耗时的几件事,首先就能想到的就是数据清洗,特征工程,还有调参.特征工程真的是老生常谈了,但是特征工程又是最重要的一环,这一步做不好怎么调参也没用....

5730
炼丹笔记

再谈序列化推荐-集成item类目属性

序列化推荐已经火了很久了,但是现存的方法并没有对item和类目属性之间的复杂关系进行建模,这篇论文Item Categorical Attrbute Integ...

7830
炼丹笔记

盘一盘推荐系统里值得一读的那些论文

工业中常用的推荐算法其实并不像论文中那么复杂,大多数的时候是稳定的模型、充分的特征工程和各种精妙的业务策略等。当然,如果你想,也可以做的很复杂....大部...

11240
炼丹笔记

推荐系统里,你是怎么Embedding的?

如果是很高维度的类别特征呢?比如电商场景下的itemid,可以有上亿,然后可能会这样:

11830
炼丹笔记

十大宝藏时序模型汇总。

时间序列建模在销量预测,天气预测,车流量预测,股票价格预测等问题中扮演着至关重要的角色,一般时间序列的问题可以表述为下面的形式

3610
炼丹笔记

听说GNN大有可为,从这篇开始学以致用

说到GNN,各位炼丹师会想到哪些算法呢?不管想到哪些算法,我们真正用到过哪些呢?确实我们可能都看过GNN相关论文,但是还是缺乏实战经验的.特别是对于推荐系统而言...

9350
炼丹笔记

负样本的艺术,再读Facebook双塔向量召回算法

Facebook这篇Embedding召回的论文,之前已经有几篇文章涉及过了,分别是《Embeding-based Retrieval in Face...

19840
炼丹笔记

推荐系统中的长尾物品(Tail Items)推荐问题

长尾物品(Tail Items)在推荐系统中是非常常见的,长尾的存在导致了样本的不均衡,对于热门头部物品(Head Items)的样本量多,模型学习这...

13040
炼丹笔记

用XGB learning to rank

说到learning to rank,大家应该都比较熟悉,但是说到用XGB做learning to rank,很少有人实现过.举个例子,比方说赛马,我们可以基于...

12350
炼丹笔记

乘风破浪的PTM:预训练的发动机

《乘风破浪的PTM》系列,讲述两年来预训练模型(Pre-Training Model, PTM)的技术进展,本篇主要整理预训练模型中的发动机:模型结构。错过...

9130
炼丹笔记

NN和树模型通吃的调参神器Optuna!

本文介绍的一种超参寻优策略则同时解决了上面三个问题,与此同时,该方法在目前kaggle的数据竞赛中也都是首选的调参工具包,其优势究竟有多大,我们看一下其与目前最...

12720
炼丹笔记

MLP is Best?

众所周知,CNN是计算机视觉的首选模型,最近还流行用vision transformer做视觉,谁又能想到用多层感知机(MLPs)去做图像相关的模型呢?《MLP...

9120
炼丹笔记

神经网络十大学习率衰减提效策略!

目前越来越多非结构化问题的出现,神经网络也扮演着愈加重要的作用。一个好的神经网络对于最终任务的预测至关重要,但要得到一个好的神经网络则需要考虑众多的因素,本文我...

7110
炼丹笔记

兜兜转转一个圈,闲聊一下What is all you need?

最近读论文、看文章发现了两件有意思的事情,今天有时间分享闲聊一下,其一是各种MLP的论文频出,从各个方面对Transformer进行“围攻”,这让人有种“大...

11330
炼丹笔记

AutoDim,如何节省70%的存储空间同时还能大幅提效?

Memory-efficient Embedding for Recommendations (WWW21)!

11750

扫码关注云+社区

领取腾讯云代金券