机器学习算法GBDT的面试要点总结

def findLossAndSplit(x,y):
    # 我们用 x 来表示训练数据
    # 我们用 y 来表示训练数据的label
    # x[i]表示训练数据的第i个特征
    # x_i 表示第i个训练样本
    # minLoss 表示最小的损失
    minLoss = Integet.max_value
    # feature 表示是训练的数据第几纬度的特征
    feature = 0
    # split 表示切分点的个数
    split = 0
    # M 表示 样本x的特征个数
    for j in range(0,M):
        # 该维特征下,特征值的每个切分点,这里具体的切分方式可以自己定义
        for c in range(0,x[j]):
            L = 0
            # 第一类
            R1 = {x|x[j] <= c}
            # 第二类
            R2 = {x|x[j] > c}
            # 属于第一类样本的y值的平均值
            y1 = ave{y|x 属于 R1}
            # 属于第二类样本的y值的平均值
            y2 = ave{y| x 属于 R2}
            # 遍历所有的样本,找到 loss funtion 的值
            for x_1 in all x
                if x_1 属于 R1: 
                    L += (y_1 - y1)^2 
                else:
                    L += (y_1 - y2)^2
            if L < minLoss:
               minLoss = L
               feature  = i
               split = c
    return minLoss,feature ,split
# 定义训练数据
train_data = [[5.1,3.5,1.4,0.2],[4.9,3.0,1.4,0.2],[7.0,3.2,4.7,1.4],[6.4,3.2,4.5,1.5],[6.3,3.3,6.0,2.5],[5.8,2.7,5.1,1.9]]
# 定义label
label_data = [[1,0,0],[1,0,0],[0,1,0],[0,1,0],[0,0,1],[0,0,1]]
# index 表示的第几类
def findBestLossAndSplit(train_data,label_data,index):
        sample_numbers = len(label_data)
        feature_numbers = len(train_data[0])
        current_label = []
        # define the minLoss
        minLoss = 10000000
        # feature represents the dimensions of the feature
        feature = 0
        # split represents the detail split value
        split = 0
        # get current label
        for label_index in range(0,len(label_data)):
            current_label.append(label_data[label_index][index])
        # trans all features
        for feature_index in range(0,feature_numbers):
            ## current feature value
            current_value = []
            for sample_index in range(0,sample_numbers):
                current_value.append(train_data[sample_index][feature_index])
            L = 0
            ## different split value
            print current_value
            for index in range(0,len(current_value)):
                R1 = []
                R2 = []
                y1 = 0
                y2 = 0
                for index_1 in range(0,len(current_value)):
                    if current_value[index_1] < current_value[index]:
                        R1.append(index_1)
                    else:
                        R2.append(index_1)
                ## calculate the samples for first class
                sum_y = 0
                for index_R1 in R1:
                    sum_y += current_label[index_R1]
                if len(R1) != 0:
                    y1 = float(sum_y) / float(len(R1))
                else:
                    y1 = 0
                ## calculate the samples for second class
                sum_y = 0
                for index_R2 in R2:
                    sum_y += current_label[index_R2]
                if len(R2) != 0:
                    y2 = float(sum_y) / float(len(R2))
                else:
                    y2 = 0
                ## trans all samples to find minium loss and best split
                for index_2 in range(0,len(current_value)):
                    if index_2 in R1:
                        L += float((current_label[index_2]-y1))*float((current_label[index_2]-y1))
                    else:
                        L += float((current_label[index_2]-y2))*float((current_label[index_2]-y2))
                if L < minLoss:
                    feature = feature_index
                    split = current_value[index]
                    minLoss = L
                    print "minLoss"
                    print minLoss
                    print "split"
                    print split
                    print "feature"
                    print feature
        return minLoss,split,feature
findBestLossAndSplit(train_data,label_data,0)

3 总结

目前,我们总结了 gbdt 的算法的流程,gbdt如何选择特征,如何产生特征的组合,以及gbdt 如何用于分类,这个目前可以认为是gbdt 最经常问到的四个部分。至于剩余的问题,因为篇幅的问题,我们准备再开一个篇幅来进行总结。

https://www.cnblogs.com/ModifyRong/p/7744987.html

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2018-03-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏wym

OpenCV-3计算机视觉(Canny边缘检测)

函数原型:edge = cv2.Canny(image, threshold1, threshold2[, edges[, apertureSize[, L2g...

15940
来自专栏超然的博客

Graph Attention Networks

paper:https://mila.quebec/wp-content/uploads/2018/07/d1ac95b60310f43bb5a0b802452...

30010
来自专栏深度学习入门与实践

【原】文本挖掘——特征选择

特征选择有很多方法,看了很多资料后,我总结了以下几种,以后有新内容会随时修改 1.DF——基于文档频率的特征提取方法 概念:DF(document freque...

24050
来自专栏移动开发面面观

你需要知道的数学知识——卷积

15830
来自专栏人工智能

6种机器学习算法要点

本文旨在为人们提供一些机器学习算法,这些算法的目标是获取关于重要机器学习概念的知识,同时使用免费提供的材料和资源。当然选择有很多,但哪一个是最好的?哪两个互相补...

22890
来自专栏ml

faster-rcnn系列笔记(一)

目录:     1. 序言     2.正文        2.1  关于ROI        2.2  关于RPN        2.3 关于anchor  ...

44790
来自专栏机器之心

学界 | 三维对抗样本的生成方法MeshAdv,成功欺骗真实场景中的分类器和目标检测器

作者:Dawei Yang,Chaowei Xiao,Bo Li,Jia Deng,Mingyan Liu

12740
来自专栏数据科学与人工智能

【应用】 信用评分:第7部分 - 信用风险模型的进一步考虑

以满足科学模型开发的主要标志 - 严谨性,可测试性,可复制性和精确性以及可信度 - 考虑模型验证以及如何处理不平衡数据非常重要。 本文概述了可用于满足这些标志的...

11930
来自专栏自学笔记

Optimization of Machine Learning

机器学习就是需要找到模型的鞍点,也就是最优点。因为模型很多时候并不是完全的凸函数,所以如果没有好的优化方法可能会跑不到极值点,或者是局部极值,甚至是偏离。所以选...

10220
来自专栏人工智能头条

TensorFlow下构建高性能神经网络模型的最佳实践

16320

扫码关注云+社区

领取腾讯云代金券