首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python人工智能经典算法之聚类算法

Python人工智能经典算法之聚类算法

作者头像
海仔
发布2020-09-01 15:48:39
7830
发布2020-09-01 15:48:39
举报
文章被收录于专栏:海仔技术驿站海仔技术驿站
5.3 Boosting【**】
    1.boosting集成原理
        随着学习的积累从弱到强
    2.实现过程
        1.初始化训练数据权重,初始权重是相等的
        2.通过这个学习器,计算错误率
        3.计算这个学习期的投票权重
        4.对每个样本进行重新赋权
        5.重复前面1-4
        6.对构建后的最后的学习器进加权投票
    3.bagging集成与boosting集成的区别:
        数据方面:
            bagging:重新采样
            boosting:对数据进行权重调整
        投票方面:
            bagging:平权
            boosting:加权
        学习顺序方面:
            bagging:并行
            boosting:串行
        主要作用:
            bagging:过拟合
            boosting:欠拟合
    2 GBDT
        梯度提升决策树(GBDT Gradient Boosting Decision Tree)
        GBDT = 梯度下降 + Boosting + 决策树
    3.XGBoost
        XGBoost= 二阶泰勒展开+boosting+决策树+正则化

6.聚类算法
6.1 聚类算法简介
    1.聚类算法分类
        粗聚类
        细聚类
    2.定义
        一种典型的无监督学习算法,
        主要用于将相似的样本自动归到一个类别中
        计算样本和样本之间的相似性,一般使用欧式距离
6.2 聚类算法api初步使用
    1.api
        sklearn.cluster.KMeans(n_clusters=8)
        参数:
        n_clusters:开始的聚类中心数量
6.3 聚类算法实现流程【***】
    k-means其实包含两层内容:
        k -- 选几个中心店
        means -- 均值计算
    流程
        1、随机设置K个特征空间内的点作为初始的聚类中心
        2、对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别
        3、接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值)
        4、如果计算得出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二步过程
    kmeans小结
        kmeans由于要计算质心到每一个样本的距离,所以其收敛速度比较慢
6.4 模型评估【**】
    0.sse
        误差平方和
        值越小越好
    1. 肘部法
        ​ 下降率突然变缓时即认为是最佳的k值
    2. SC系数
        ​ 取值为[-1, 1],其值越大越好
    3. CH系数
        ​ 分数s高则聚类效果越好
        CH需要达到的目的:
            用尽量少的类别聚类尽量多的样本,同时获得较好的聚类效果。
6.5 算法优化【***】
    1.k_means
        优点:
            简单,容易理解
        缺点:
            特别人容易陷入到局部最优解
    2.Canopy
        通过绘制同心圆,进行k值选择筛选
        需要确定同心圆的半径t1,t2
    3.K-means++
        距离平方进行求解
        保证下一个质心到当前质心,距离最远
    4.二分k-means
        通过误差平方和,设置阈值,然后进行划分
    5.k-medoids
        和kmeans选取中心点的方式不同
        通过从当前点选择中心点(质心)进行判断
    6.kernel kmeans【了解】
        映射到高维空间
    7.ISODATA【了解】
        动态聚类
        可以更改k值的大小
    8.Mini-batch K-Means【了解】
        大数据集分批聚类

6.6 特征降维【***】
    1.定义
        就是改变特征值,选择哪列保留,哪列删除
        目标是得到一组”不相关“的主变量
    2.降维的两种方式
        特征选择
        主成分分析(可以理解一种特征提取的方式)
    3.特征选择
        定义:提出数据中的冗余变量
        方法:
            Filter(过滤式):主要探究特征本身特点、特征与特征和目标值之间关联
                方差选择法:低方差特征过滤
                相关系数
            Embedded (嵌入式):算法自动选择特征(特征与目标值之间的关联)
                决策树:信息熵、信息增益
                正则化:L1、L2
                深度学习:卷积等
    4.低方差特征过滤
        把方差比较小的某一列进行剔除
        api:
            sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
                删除所有低方差特征
                注意,参数threshold一定要进行值的指定
    5.相关系数
        主要实现方式:
            皮尔逊相关系数
            斯皮尔曼相关系数
        5.1 皮尔逊相关系数
            通过具体值的大小进行计算
            相对复杂
            api:
                from scipy.stats import pearsonr
                返回值,越接近|1|,相关性越强;越接近0,相关性越弱
        5.2 斯皮尔曼相关系数
            通过等级差进行计算
            比上一个简单
            api:
                from scipy.stats import spearmanr
                返回值,越接近|1|,相关性越强;越接近0,相关性越弱
    6.pca
        定义:
            高维数据转换为低维数据,然后产生了新的变量
        api:
            sklearn.decomposition.PCA(n_components=None)
                n_components
                    整数 -- 表示降低到几维
                    小数 -- 保留百分之多少的信息
6.7 案例:探究用户对物品类别的喜好【***】
    1.获取数据
    2.数据基本处理
    2.1 合并表格
    2.2 交叉表合并
    2.3 数据截取
    3.特征工程 — pca
    4.机器学习(k-means)
    5.模型评估
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020-08-29 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档