CTR——人工神经网络+决策树

一、引言

   这是篇论文的笔记，记录阅读该论文中的一些体会，希望与大家一起学到知识。论文题目为《Using neural networks for click prediction of sponsored search》。

二、文章的核心思想

   文章的核心思想是利用人工神经网络+决策树的方法去进行点击率的预测。

1、模型

   该模型主要是有两个阶段：

1. 第一阶段是里用ANN对稀疏高维ID-based特征建模，产生的是一系列的概率值；
2. 第二阶段是利用DT处理两种特征，剩余的real-valued特征和第一阶段产生的概率值。

2、如此设计的目的

1. 兼顾到两种特征(real-valued特征、ID-based特征)；
2. 因为原来的系统中已经实现了DT，这是较为简单的方法将ANN融合进原来的系统中。

3、评价指标

三、值得学习的知识点

1、ANN与LR的比较

   人工神经网络能够获得特征之间的非线性关系，同时，深度的结构拥有更强的建模能力。

2、赞助搜索的工作机制

   主要的机制是依靠关键字拍卖：广告商对一系列挑选好的关键字竞价。当一个用户输入一个查询时，搜索引擎与所有的关键字匹配，并挑选合适的广告展示出来。

   挑选广告的机制简单来讲如下：第一，根据用户的查询，根据期望收益选择较为匹配的广告，并对广告进行降序排列；第二，最匹配的广告(最多三个)被选择出来，并按照他们的竞价排序然后展示出来。

3、处理稀疏高维特征的方法

   在CTR的特征处理中，要处理的特征都是高维且稀疏的特征，论文中提供了如下两种方法处理：

   对于ID-based特征，首先使用One-Hot编码，产生的特征空间是高维的，而且是稀疏的，主要的降维方法有两种：

1. 删除一些不必要的特征(主要根据阈值)；
2. 利用Hash函数(将第一步中处理过的特征映射到低维的空间)

4、正负样本不均衡问题

5、最后的思考

   主要是利用深度学习的概念。

参考论文：Using neural networks for click prediction of sponsored search