首页
学习
活动
专区
工具
TVP
发布

炼丹笔记

专栏成员
255
文章
268859
阅读量
37
订阅数
Yann LeCun最新访谈:能量模型是通向自主人工智能系统的起点
Yann LeCun认为,「能量模型」开辟了通往「抽象预测」的道路,为能够进行规划的人工智能提供了「统一世界模型」。
炼丹笔记
2022-05-23
2790
自监督学习和对比学习
这篇主要探讨SimCLR,不需要用监督学习(supervision)的方式,采用自监督(self-supervised)的方式使得模型学到很多有用的patterns。众所周知,使用对比学习(修改样本,loss等小trick)就可以显著提高模型的泛化能力,所以我们都需要掌握这项"技艺"。
炼丹笔记
2021-11-19
3290
NN如何在表格数据中战胜GBDT类模型!
TabNet: Attentive Interpretable Tabular Learning(ArXiv2020)
炼丹笔记
2021-05-14
2.9K0
听说,推荐系统pre-train就对了?!
十方之前说过,阿里已经把序列化推荐做到极致了。其实除了阿里,其他大厂也在序列化方向上做了不少研究,废话不多说,我们直接看美团这篇《S3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization》。
炼丹笔记
2021-05-14
7670
一文梳理多任务学习(MMoE/PLE/DUPN/ESSM等)
大家在做模型的时候,往往关注一个特定指标的优化,如做点击率模型,就优化AUC,做二分类模型,就优化f-score。然而,这样忽视了模型通过学习其他任务所能带来的信息增益和效果上的提升。通过在不同的任务中共享向量表达,我们能够让模型在各个任务上的泛化效果大大提升。这个方法就是我们今天要谈论的主题-多任务学习(MTL)。
炼丹笔记
2021-04-09
4.3K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档