炼丹笔记

LV1
发表了文章

MLP is Best?

众所周知,CNN是计算机视觉的首选模型,最近还流行用vision transformer做视觉,谁又能想到用多层感知机(MLPs)去做图像相关的模型呢?《MLP...

炼丹笔记
发表了文章

神经网络十大学习率衰减提效策略!

目前越来越多非结构化问题的出现,神经网络也扮演着愈加重要的作用。一个好的神经网络对于最终任务的预测至关重要,但要得到一个好的神经网络则需要考虑众多的因素,本文我...

炼丹笔记
发表了文章

兜兜转转一个圈,闲聊一下What is all you need?

最近读论文、看文章发现了两件有意思的事情,今天有时间分享闲聊一下,其一是各种MLP的论文频出,从各个方面对Transformer进行“围攻”,这让人有种“大...

炼丹笔记
发表了文章

AutoDim,如何节省70%的存储空间同时还能大幅提效?

Memory-efficient Embedding for Recommendations (WWW21)!

炼丹笔记
发表了文章

用XGB调XGB?"我"调"我"自己?

上篇《深恶痛绝的超参》已经介绍了很多实用的调参方式,今天来看一篇更有趣的跳槽方法,用ML的方式调ML的模型我们用我们熟悉的模型去调我们熟悉的模型,看到这里很晕是...

炼丹笔记
发表了文章

当推荐系统遇上多模态Embedding

    在微信视视频号推荐算法大赛中,给出来融合了OCR、ASR、图像、文字的多模态的内容理解特征向量Feed Embedding,共512维向量。对于给定的一...

炼丹笔记
发表了文章

用预训练GNN预估点击率有奇效?

说到点击率模型这个“古老”的话题,大家第一时间想到的是wide&deep,DeepFM,DCN等。但是说到GNN预估点击率,大家又能想到几个呢?《Explici...

炼丹笔记
发表了文章

自动化Debias框架,一键去除推荐系统所有Bias。

大多数现有的推荐debias的工作,如反向inverse propensity scoring和imputation方法,侧重于一个或两个具体的Bias,缺乏通...

炼丹笔记
发表了文章

曾几何时,我们都是炼的不是丹,是特征!

对于炼丹师来说,特别是面对海量特征,还要从中挖掘出交叉特征"喂"给模型,是十分痛苦的。不得不说,人都是"懒惰"的,我们炼丹师当然希望有个厉害的深度学习模型,只需...

炼丹笔记
发表了文章

推荐系统User-Item Embedding图算法

在做推荐算法任务时,在(user, item)的交互数据集中进行建模是常见的方式,本文基于GNN对User侧和Item侧进行embedding的思路,介...

炼丹笔记
发表了文章

521三大问:啥是GNN?GNN咋学?GNN何用?

近来发现非常多的建模问题中都使用了GNN方法,便去学习了一番,后来发现了一篇非常不错的GNN的可视化解释文章,便将其翻译整理和大家一起分享。

炼丹笔记
发表了文章

她来了她来了,乘风破浪的微信视频号推荐算法

基于脱敏和采样后的数据信息,对于给定的一定数量到访过微信视频号“热门推荐”的用户, 根据这些用户在视频号内的历史n天的行为数据,通过算法在测试集上预测出这些用...

炼丹笔记
发表了文章

聊聊Batch Normalization在网络结构中的位置

谷歌在2015年就提出了Batch Normalization(BN),该方法对每个mini-batch都进行normalize,下图是BN的计算方式,会把mi...

炼丹笔记
发表了文章

隐式反馈的去噪,模型取得巨大提升!

Denoising Implicit Feedback for Recommendation!

炼丹笔记
发表了文章

个性化推荐质量的优劣,谁说了算?

对推荐结果的评估一直都是十分重要的环节,一个推荐算法或者说排序的优劣直接体现在这些评估指标上。具体地,有三种方式,分别是产品数据层面、机器学习算法层面、...

炼丹笔记
发表了文章

"深恶痛绝"的超参

说到超参,不得不先提到参数,这两个是有本质区别的。对于神经网络而言,学习率、batchsize等都是超参,而参数就是网络中所有的weight。可以这样简单的区分...

炼丹笔记
发表了文章

炼丹侠必知的11大神经网络结构​汇总!

随着深度学习的快速发展,目前已经出现了海量的不同结构的神经网络,本文介绍11种炼丹师都需要知道一点的神经网络结构。

炼丹笔记
发表了文章

别滥用隐式反馈了,模型学偏了!

现在大家都习惯用隐式反馈来学习推荐模型,并作用于线上推荐系统(十方也不例外)。大量的隐式反馈数据确实缓解了数据稀疏的问题,但是这些数据很多并没有反馈用户真正的需...

炼丹笔记
发表了文章

谷歌开源下一代推荐系统模拟器-RecSim NG

推荐系统是连接用户与各种在线内容的主要接口,因此必须克服用户流行度的问题,这样可以保证公平地为他们服务。为此,在2019年我们发布了RecSim,这是一个用于创...

炼丹笔记
发表了文章

入"坑"推荐系统,从Google这篇课程开始

推荐系统内容实在太丰富了,以至于刚开始学的人都无从下手,当年时晴无意中翻到谷歌这篇教程,然后就开启了入"坑"推荐系统的神奇旅程,极力推荐给大家,大家也可以推荐给...

炼丹笔记

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券