论文解读 Greedy Function Approximation：A Gradient Boosting Machine

论文链接：

https://xueshu.baidu.com/usercenter/paper/show？paperid=ab7165108163edc94b30781e51819e0c

Abstract

Function approximation是从function space方面进行numerical optimization，其将stagewise additive expansions和steepest-descent minimization结合起来。而由此而来的Gradient Boosting Decision Tree（GBDT）可以适用于regression和classification，都具有完整的，鲁棒性高，解释性好的优点。

1. Function estimation

在机器学习的任务中，我们一般面对的问题是构造loss function，并求解其最小值。可以写成如下形式：

通常的loss function有：

1. regression：均方误差(y-F)^2，绝对误差|y-F|

2. classification：negative binomial log-likelihood log(1+e^(-2yF))

一般情况下，我们会把F(x)看做是一系列带参数的函数集合 F(x;P)，于是进一步将其表示为“additive”的形