专栏首页AI科技时讯FNN: Deep Learning over Multi-field Categorical Data

FNN: Deep Learning over Multi-field Categorical Data

、 关注“AI科技时讯

设为星标,第一时间获取更多干货

原论文:Deep learning over multi-field categorical data

地址:arxiv.org/pdf/1601.0237

一、问题由来

  基于传统机器学习模型(如LR、FM等)的CTR预测方案又被称为基于浅层模型的方案,其优点是模型简单,预测性能较好,可解释性强;缺点主要在于很难自动提取高阶组合特征携带的信息,目前一般通过特征工程来手动的提取高阶组合特征。而随着深度学习在计算机视觉、语音识别、自然语言处理等领域取得巨大成功,其在探索特征间高阶隐含信息的能力也被应用到了CTR预测中。较早有影响力的基于深度学习模型的CTR预测方案是在2016年提出的基于因子分解机的神经网络(Factorization Machine supported Neural Network, FNN)模型,就是我们今天要分享的内容,一起来看下。

二、模型

FNN模型如下图所示:

FNN模型结构

对图中的一些变量进行一下解释:x是输入的特征,它是大规模离散稀疏的。它可以分成N个Field,每一个Field中,只有一个值为1,其余都为0(即one-hot)。Field i的则可以表示成

,

为Field i的embedding矩阵。

为embedding后的向量。它由一次项

,二次项

组成,其中K是FM中二次项的向量的维度。而后面的

则为神经网络的全连接层的表示。

详细解释一下基于FM的预训练:嵌入后的向量

=

,其中

就是FM里面的一次性系数,而

就是二次项的系数,可以详细对照看FM的公式如下(FM的详细解释可看我上一篇文章):

基于FM的预训练得到嵌入向量

  我们可以看出这个模型有着十分显著的特点:

    1. 采用FM预训练得到的隐含层及其权重作为神经网络的第一层的初始值,之后再不断堆叠全连接层,最终输出预测的点击率。     2. 可以将FNN理解成一种特殊的embedding+MLP,其要求第一层嵌入后的各领域特征维度一致,并且嵌入权重的初始化是FM预训练好的。     3. 这不是一个端到端的训练过程,有贪心训练的思路。而且如果不考虑预训练过程,模型网络结构也没有考虑低阶特征组合。

  为了方便理解,如下图所示,FNN = FM + MLP ,相当于用FM模型得到了每一维特征的嵌入向量,做了一次特征工程,得到特征送入分类器,不是端到端的思路,有贪心训练的思路。

三、FNN的优缺点

优点:每个特征的嵌入向量是预先采用FM模型训练的,因此在学习DNN模型时,训练开销降低,模型能够更快达到收敛。

缺点:

  1. Embedding 的参数受 FM 的影响,不一定准确
  2. 预训练阶段增加了计算复杂度,训练效率低
  3. FNN 只能学习到高阶的组合特征;模型中没有对低阶特征建模。

本文分享自微信公众号 - AI科技时讯(aiblog_research),作者:知乎

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 你不应该忽略的五个机器学习项目一览

    随着人工智能和深度学习的兴起,网络上存在的学习资源以及开源项目也越来越多。本文精选了的五个项目,都含有潜在新的机器学习想法,且全都是用Pytho...

    用户3578099
  • 入门项目数字手写体识别:使用Keras完成CNN模型搭建

    对于图像分类任务而言,卷积神经网络(CNN)是目前最优的网络结构,没有之一。在面部识别、自动驾驶、物体检测等领域,CNN被广泛使用,并都取得了最优性能。对于绝大...

    用户3578099
  • Factorization Machine模型的各种变式

    FM模型最早由Steffen Rendle在2010年提出,解决了稀疏数据场景下的特征组合问题,在广告、推荐等领域被广泛使用。FM模型简单而且效果好,可以作为业...

    用户3578099
  • 干货|深度学习在CTR中的应用

    ...

    fishexpert
  • 智能体的白日梦,谷歌大脑又出来PR文了?

    智能体能否在梦中学习?Yes! 白日梦是人类的专属?No! 这是谷歌大脑的又一篇 PR 文章吗?难说~ AI 科技评论按:继前段时间在 arxiv 上贴出《on...

    AI科技评论
  • 学界 | 百度提出冷聚变方法:使用语言模型训练Seq2Seq模型

    选自arXiv 机器之心编译 参与:路雪、蒋思源 近日,百度研究院发表论文提出冷聚变(Cold Fusion)方法,即在 Seq2Seq 模型训练过程中加入语言...

    机器之心
  • How is html text displayed in Assignment block

    版权声明:署名,允许他人基于本文进行创作,且必须基于与原先许可协议相同的许可协议分发本文 (Creative Commons)

    Jerry Wang
  • 机器学习和深度学习中的一些名词

    学习样本数据集,通过匹配一些参数来建立一个分类器。建立一种分类的方式,主要是用来训练模型的。

    种花家的奋斗兔
  • 一文看懂 FM ( Factorization Machine ) 模型的各种变式

    FM 模型最早由 Steffen Rendle 在2010年提出,解决了稀疏数据场景下的特征组合问题,在广告、推荐等领域被广泛使用。FM 模型简单而且效果好,可...

    石晓文
  • 农业中有前途的4个物联网用例

    农业正在复兴。物联网和人工智能使农民能够更可靠、更有效地管理农作物和牲畜。自主的农业设备、牲畜监测系统和精确的农业解决方案使农民能够养活我们日益饥饿和环境不稳定...

    用户4122690

扫码关注云+社区

领取腾讯云代金券