在《从零开始学Python【30】--DBSCAN聚类（理论部分）》一文中我们侧重介绍了有关密度聚类的理论知识，涉及的内容包含密度聚类中的一些重要概念（如核心对象、直接密度可达、密度相连等）和密度聚类的具体步骤。在本次文章中，我们将通过一个小的数据案例，讲解如何基于Python实现密度聚类的实战。
手肘法的核心指标是SSE(sum of the squared errors，误差平方和)，
层次聚类 (hierarchical clustering)是一种对高维数据进行可视化的常见方法。
导读：机器是怎样学习的，都学到了什么？人类又是怎样教会机器学习的？本文通过案例给你讲清楚各类算法的原理和应用。
介绍了一些传统但是被验证是非常有用的，现在都还在用的策略，用来对非结构化的文本数据提取特征。
在本文中，我们将研究如何处理文本数据，这无疑是最丰富的非结构化数据来源之一。文本数据通常由文档组成，文档可以表示单词、句子甚至是文本的段落。文本数据固有的非结构化(没有格式整齐的数据列)和嘈杂的特性使得机器学习方法更难直接处理原始文本数据。因此，在本文中，我们将采用动手实践的方法，探索从文本数据中提取有意义的特征的一些最流行和有效的策略。这些特征可以很容易地用于构建机器学习或深度学习模型。
kmeans是聚类算法中的一种，通过点与点之间的距离计算，将相近的点聚为一组。聚类结果常用于营销领域的相似用户识别、相似商品识别，欺诈领域的异常点识别等，具体算法介绍可参见文章聚类(二)：k-means算法（R&python）。
聚类分析是没有给定划分类别的情况下，根据样本相似度进行样本分组的一种方法，是一种非监督的学习算法。聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度划分为若干组，划分的原则是组内距离最小化而组间距离最大化，如下图所示：
数据聚类算法可以分为划分法、层次法、密度算法、图论聚类算法、网格算法、模型算法，通过对样品或指标进行分类的一种多元统计分析方法，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别 ，图像分析以及生物信息。聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset），这样让在同一个子集中的成员对象都有相似的一些属性。
在这一章我们将使用基础的Python库pandas，numpy，matplotlib来完成一个数据分析的小项目，推荐使用Anaconda环境下的jupter-notebook来进行练习。
人工智能研究的负责人Yan Lecun说，非监督式的学习——教机器自己学习，而不用被明确告知他们做的每一件事是对还是错——是实现“真”AI的关键。
在上一期的异常值识别《KNN除了可以做分类和预测，还知道它可以识别异常值吗？》中，我们详细分享了如何使用K近邻的方法完成数据中异常值的查询。但该方法的最大缺陷在于计算复杂度高，对于大数据而言，识别异常数据将会消耗较长的时间。本期将从K均值聚类的角度，帮助大家理解该方法在异常值识别过程中的优势！（本文涉及的代码可以在文末链接中下载）
AI科技评论按：世界首屈一指的机器学习竞赛平台 Kaggle，在今年早些时候推出了基于 Python 的高维数据降维以及可视化处理工具 HyperTools，并将其作为 Kaggle Kernels 的一部分免费提供给开发者。 日前，Kaggle 在博客公布了使用 HyperTools 的官方教程。其中包含两个例子：用 HyperTools 对蘑菇数据做可视化，以及对全球气象数据做可视化。示例包含代码，需要做数据降维可视化的童鞋，这是一篇不错的 HyperTools 上手教程。全文由AI科技评论编译。
编者按：世界首屈一指的机器学习竞赛平台 Kaggle，在今年早些时候推出了基于 Python 的高维数据降维以及可视化处理工具 HyperTools，并将其作为 Kaggle Kernels 的一部分
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。
前言 我们接着《从零开始学Python【28】--K均值聚类（理论部分）》一文，继续跟大家分享一下如何借助于Python和R语言工具完成K均值聚类的实战。本次实战的数据来源于虎扑体育（https://nba.hupu.com/stats/players），我们借助于NBA球员的命中率和罚球命中率两个来给各位球员做一次“人以群分”的效果。 首先，我们使用pandas中的read_html函数读取虎扑体育网页中的球员数据表，然后再对数据作清洗（主要是数据类型的转换、变量的重命名和观测的删除）： 本次一共获得28
大量数据中具有"相似"特征的数据点或样本划分为一个类别。聚类分析提供了样本集在非监督模式下的类别划分。聚类的基本思想是"物以类聚、人以群分"，将大量数据集中相似的数据样本区分出来，并发现不同类的特征。
1D，2D和3D数据可以可视化。但是在数据科学领域并不总是能够处理一个小于或等于3维的数据集，我们肯定会遇到使用高维数据的情况。对于数据科学专业人员来说，有必要对工作数据进行可视化和深入了解，以便更好地完成工作，我们可以使用降维技术
我真的很喜欢研究无监督学习问题。它们为监督学习问题提供了一个完全不同的挑战，用我拥有的数据进行实验的发挥空间要比监督学习大得多。毫无疑问，机器学习领域的大多数发展和突破都发生在无监督学习领域。
Seaborn 是基于 matplotlib 开发的高阶 Python 数据可视图库，用于绘制优雅、美观的统计图形。
利用drop_duplicates()函数删除数据表中重复多余的记录, 比如删除重复多余的ID.
将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。
Pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使python成为强大而高效的数据分析环境的重要因素之一。
作者：Vihar Kurama 机器之心编译 参与：Geek AI、路 本文简要介绍了多种无监督学习算法的 Python 实现，包括 K 均值聚类、层次聚类、t-SNE 聚类、DBSCAN 聚类。 无
本文简要介绍了多种无监督学习算法的 Python 实现，包括 K 均值聚类、层次聚类、t-SNE 聚类、DBSCAN 聚类。
Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具。它建立在 NumPy, SciPy, Pandas 和 Matplotlib 之上，里面的 API 的设计非常好，所有对象的接口简单，很适合新手上路。
1、建立逻辑数据模型为第一阶段，包括对应用程序需要处理和存储的信息进行建模，并确保所有必要的数据都能够正确、完整且无歧义地表示。在关系数据库的实现中，这通常是指构造一个标准化的实体-关系(E-R)模型。
聚类分析是按照个体的特征将他们分类，让同一个类别内的个体之间具有较高的相似度，不同类别之间具有较大的差异性。聚类分析属于无监督学习。聚类对象可以分为两类：
KMeans()类提供了fit(), predict()等8个方法供数据拟合、预测等使用。 在利用肘部法则确定K值时需要建立聚类效果的指标，这时长长会用到求解两个向量之间距离的cdist()方法。格式如下：
https://blog.csdn.net/huacha__/article/details/81094891
分类和预测是预测问题的两种主要类型，分类主要是预测分类标号（离散属性），而预测 主要是建立连续值函数模型，预测给定自变量对应的因变量的值。
相比较pandas，numpy并没有很直接的rolling方法，但是numpy 有一个技巧可以让NumPy在C代码内部执行这种循环。
一、DBSCAN聚类概述 基于密度的方法的特点是不依赖于距离，而是依赖于密度，从而克服基于距离的算法只能发现“球形”聚簇的缺点。 DBSCAN的核心思想是从某个核心点出发，不断向密度可达的区域扩张
该文介绍了如何使用k-means算法对大规模图像数据集进行聚类分析。首先介绍了聚类算法的基本概念和实现方法，然后详细描述了k-means算法的步骤和流程。最后通过一个实际的图像聚类案例，展示了k-means算法在图像处理领域的应用。
K-均值算法也可以很便利地用于将数据分为许多不同组，即使在没有非常明显区分的组群的情况下也可以。下图所示的数据集包含身高和体重两项特征构成的，利用 K-均值算法将数据分为三类，用于帮助确定将要生产的 T-恤衫的三种尺寸。
作者：lswbjtu https://zhuanlan.zhihu.com/p/51131210
熟悉数据挖掘和机器学习的小伙伴们都知道，数据处理相关的工作时间占据了整个项目的70%以上。数据的质量，直接决定了模型的预测和泛化能力的好坏。它涉及很多因素，包括：准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中，我们拿到的数据可能包含了大量的缺失值，可能包含大量的噪音，也可能因为人工录入错误导致有异常点存在，非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理，得到标准的、干净的、连续的数据，提供给数据统计、数据挖掘等使用。
K-means(Thek-meansalgorithm)是机器学习十大经典算法之一，同时也是最为经典的无监督聚类（Unsupervised Clustering）算法。接触聚类算法，首先需要了解k-means算法的实现原理和步骤。本文将对k-means算法的基本原理和实现实例进行分析。
聚类算法 前面介绍的集中算法都是属于有监督机器学习方法，这章和前面不同，介绍无监督学习算法，也就是聚类算法。在无监督学习中，目标属性是不存在的，也就是所说的不存在“y”值，我们是根据内部存在的数据特征，划分不同的类别，使得类别内的数据比较相似。 我们对数据进行聚类的思想不同可以设计不同的聚类算法，本章主要谈论三种聚类思想以及该聚类思想下的三种聚类算法。666 本章主要涉及到的知识点有： “距离” K-Means算法 几种优化K-Means算法 密度聚类 算法思想：“物以类聚，人以群分” 本节首先通过聚类算法
如果 S 中任两点的连线内的点都在集合 S 内，那么集合 S称为凸集。反之，为非凸集。
本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！ 想写这个系列很久了，最近刚好项目结束了闲下来有点时间，于是决定把之前学过的东西做个总结。之前看过一些机器学习方面的书，每本书都各有侧重点，机器学习实战和集体智慧编程更偏向与实战，侧重于对每个算法的实际操作过程，但是没有对整个数据挖掘项目做介绍，李航老师的统计学习方法和周志华老师的机器学习这两本书侧重对原理的讲解和公式的推导，但是实战方面可能会少一点。我结合之前看过的书，以及自己的一些项目经验做了一些总结
客户细分模型是将整体会员划分为不同的细分群体或类别，然后基于细分群体做管理、营销和关怀。客户细分模型常用于整体会员的宏观性分析以及探索性分析，通过细分建立初步认知，为下一步的分析和应用提供基本认知。
很多公司的技术人员在做用户画像的工作，细分客户/客户分群是一个很有意义的工作，可以确保企业构建更个性化的消费者针对策略，同时优化产品和服务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
