聚类分析,也称为聚类,是一种无监督的机器学习任务。与监督学习不同,聚类算法仅依赖输入数据,并致力于在特征空间中找到自然的组或群集。这些群集通常是特征空间中的密度区域,其中同一群集的数据点比其他群集更紧密地聚集在一起。
4、Python基础1 - Python及其数学库 解释器Python2.7与IDE:Anaconda/Pycharm Python基础:列表/元组/字典/类/文件 Taylor展式的代码实现 numpy/scipy/matplotlib/panda的介绍和典型使用 多元高斯分布 泊松分布、幂律分布 典型图像处理
K均值聚类算法是先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了,每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是没有(或最小数目)对象被重新分配给不同的聚类,没有(或最小数目)聚类中心再发生变化,误差平方和局部最小。
我其实在Seurat v3官方网站的Vignettes中就曾见过该算法,但并没有太多关注,直到看了北大张泽民团队在2019年10月31日发表于Cell的《Landscap and Dynamics of Single Immune Cells in Hepatocellular Carcinoma》,为了同时整合两类数据(包括SMART-seq2和10X)(Hemberg-lab单细胞转录组数据分析(七)- 导入10X和SmartSeq2数据Tabula Muris)达到不同平台的数据可以整合一起进行非监督聚类(基因共表达聚类分析和可视化)的效果,作者使用了harmony算法。
高斯混合模型(Gaussian Mixture Model,GMM)是一种基于概率分布的聚类方法,它假设数据集由若干个高斯分布组成,每个高斯分布代表一个簇。在本文中,我们将使用Python来实现一个基本的高斯混合模型聚类算法,并介绍其原理和实现过程。
机器学习_分类_数据聚类 K-Means(k-平均或k-均值) 可以称的上是知名度最高的一种聚类算法 首先,我们确定要几个的聚类(cluster,也称簇),并为它们随机初始化一个各自的聚类质心点(cluster centroids),它在上图中被表示为“X”。要确定聚类的数量,我们可以先快速看一看已有的数据点,并从中分辨出一些独特的数据。 其次,我们计算每个数据点到质心的距离来进行分类,它跟哪个聚类的质心更近,它就被分类到该聚类。 需要注意的是,初始质心并不是真正的质心,质心应满足聚类里每个点到它的欧式距离
最近我们被客户要求撰写关于中药专利复方治疗用药规律的研究报告,包括一些图形和统计输出。
时间序列预测的应用非常的广泛,像股票预测、销量预测、贷款预测等等,在生产生活中发挥着极大的价值。现有的模型,比如ARIMA,Prophet,状态空间模型或者神经网络模型等,主要是对单条时间序列进行建模分析。然而,在很多真实场景中,需要预测的时序变脸常常是描述具体结果的“宏观变量”,例如沪深指数大盘走势,电商平台GMV等,这些宏观变量的变化通通都受其下层微观因素变化所决定,单单对宏观时间序列建模往往得不到很好的效果。
2.1. 高斯混合模型 sklearn.mixture 是一个应用高斯混合模型进行非监督学习的包,支持 diagonal,spherical,tied,full四种协方差矩阵 (注:diagona
01/20 最近在系统地学习斯坦福大学的机器, 共有20课,这是第一课《机器学习的动机与应用》的学习心得。 一、监督学习 特点:提供标准答案的训练数据 任务类型:回归、分类 回归:数据连续 例:
在机器学习领域中,层次聚类是一种常用的聚类算法,它能够以层次结构的方式将数据集中的样本点划分为不同的簇。层次聚类的一个优势是它不需要事先指定簇的数量,而是根据数据的特性自动形成簇的层次结构。本文将详细介绍层次聚类算法的原理、实现步骤以及如何使用 Python 进行编程实践。
但是,大多数情况下,在处理实际问题时,数据不会带有预定义标签,因此我们需要开发能够对这些数据进行正确分类的机器学习模型,通过发现这些特征中的一些共性,来预测新数据的类。
方剂药效与剂量的关系中药不传之秘在于剂量中药配伍规律。拓端数据使用数据挖掘技术对海量的在线医院药物复方历史数据进行智能分析,并从中找出药物配伍的规律
我真的很喜欢研究无监督学习问题。它们为监督学习问题提供了一个完全不同的挑战,用我拥有的数据进行实验的发挥空间要比监督学习大得多。毫无疑问,机器学习领域的大多数发展和突破都发生在无监督学习领域。
来自不同物种的单细胞基因表达数据集越来越多,这为探索跨物种细胞类型之间的进化关系创造了机会。scRNA-seq数据的跨物种整合尤其具有参考价值。2023年10月,《Nature Communications》发表研究论文,对28种基因同源性图谱方法和数据整合算法组合在各种生物环境中的表现进行了基准测试。使用9个已确立的指标,考察了每种策略对已知同源细胞类型进行物种混合和保持生物异质性的能力。同时还开发了一种新的生物学保护指标,以解决维持细胞类型可区分性的问题。
机器学习可以分为两个主要领域:有监督学习和无监督学习。两者的主要区别在于数据的性质以及处理数据的方法。聚类是一个无监督学习的算法,利用这个算法可以从数据集里找到具有共性的点簇。假设我们有一个如下所示的数据集:
北大和中山大学团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。
在机器学习领域中,聚类算法被广泛应用于数据分析和模式识别。K-means 是其中一种常用的聚类算法,它能够将数据集分成 K 个不同的组或簇。本文将详细介绍 K-means 算法的原理、实现步骤以及如何使用 Python 进行编程实践。
数据聚类是搭建一个正确数据模型的重要步骤。数据分析应当根据数据的共同点整理信息。然而主要问题是,什么通用性参数可以给出最佳结果,以及什么才能称为“最佳”。
大数据文摘作品 编译:Chole、糖竹子、saint 经常被数据里的NaN值困扰,又不想昧着良心用均值填充?本文介绍了几种常见的数据缺失值处理方法,其中一些用到了聚类算法。 无监督学习(UL)有很多没开发的潜力。它是一门从“未标记”数据中推导一个函数来描述其隐藏结构的艺术。但首先,从数据中找到其结构是什么意思呢? 让我们来看以下两个例子: Blobs 气泡状分布:这个简单。任何人看到这张图都会认为它是由三个不同的簇组成的。如果你对统计学非常熟悉,你可能还会猜想它由三个隐藏的高斯分布构成。对一个新的数据样本,
最近我们被客户要求撰写关于时间序列进行聚类研究报告,包括一些图形和统计输出。 时序数据的聚类方法,该算法按照以下流程执行。
本文选自《Python用KShape对时间序列进行聚类和肘方法确定最优聚类数k可视化》。
在机器学习领域中,DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种常用的聚类算法。与传统的聚类算法(如K-means)不同,DBSCAN 能够发现任意形状的簇,并且可以有效地处理噪声数据。本文将详细介绍 DBSCAN 算法的原理、实现步骤以及如何使用 Python 进行编程实践。
最近我们被客户要求撰写关于泊松过程的研究报告,包括一些图形和统计输出。 本文描述了一个模型,该模型解释了交易的聚集到达,并展示了如何将其应用于比特币交易数据。这是很有趣的,原因很多。例如,对于交易来说,能够预测在短期内是否有更多的买入或卖出是非常有用的。另一方面,这样的模型可能有助于理解基本新闻驱动价格与机器人交易员对价格变化的反应之间的区别
有几个 Python 库提供一系列机器学习算法的实现。最著名的是 Scikit-Learn,一个提供大量常见算法的高效版本的软件包。 Scikit-Learn 的特点是简洁,统一,流线型的 API,以及非常实用和完整的在线文档。这种一致性的好处是,一旦了解了 Scikit-Learn 中一种类型的模型的基本用法和语法,切换到新的模型或算法就非常简单。
最近我们被客户要求撰写关于有限混合模型聚类FMM的研究报告,包括一些图形和统计输出。
高斯混合模型是一种强大的聚类算法。本文将带你了解高斯混合模型的工作原理以及如何在 Python 中实现它们,我们还将讨论 k-means 聚类算法,看看高斯混合模型是如何对它进行改进的。
二面面试官来了。是个算法大佬。是个专门做算法的。直接手出题,他说时间不多,就让我说思路。
大量数据中具有"相似"特征的数据点或样本划分为一个类别。聚类分析提供了样本集在非监督模式下的类别划分
原作者 Amy Lee Walton 编译 CDA 编译团队 本文为 CDA 数据分析师原创作品,转载需授权 当设计地图时,我会想:我想让观看者如何阅读地图上的信息?我想让他们一目了然地看出地理区域的测量结果变化吗?我想要显示出特定地区的多样性吗?或者我想要标明某个区域内的高频率活动或者相对的体积/密度? 有多种方法可以在地图中快速而集中的呈现出可视化数据。我常用的几个是: · Dot density (点密度图) ——使用点或其他符号展示特征或现象的集体情况(密度)的地图样式。例如,显示区域内的交
这些聚类算法各有优缺点,适用于不同类型的数据和不同的应用场景。选择合适的聚类算法通常取决于具体的需求、数据的特性和计算资源。
EM 算法又叫做最大期望算法,英文名称为 Expectation Maximization,也是一种聚类算法。是一种迭代算法,通过寻找最大似然估计值,来确定聚类。
本文我们将使用k-Shape时间序列聚类方法检查与我们有业务关系的公司的股票收益率的时间序列
同样是聚类分析,上一次介绍的是层次聚类分法,这种方法输出的聚类树状图是其最大的优点,但是层次分析法的缺点就在于适合的样本数比较小,大概在150个左右。所以,当我们面临更大的数据时,划分聚类法就是更好的选择,虽然没有树状聚类图,却而代之的是圈型的聚类图。
本次报告,Shai Ben-David教授首先对无监督学习(Unsupervised Learning)的基础性原理进行了阐述,对其一些具体的应用场景进行了介绍,然后从有假设条件下的高斯混合模型的学习、无假设条件下的知识驱动型学习、如何更好地对数据进行聚类三个方面详细介绍了他和研究团队在无监督学习理论上的进展和突破。
聚类分析是一种数据归约技术,旨在揭露一个数据集中观测值的子集。它可以把大量的观测值归约为若干个类。
选自GitHub 机器之心整理 参与:蒋思源 机器学习神书之一的 PRML(模式识别与机器学习)是所有机器学习读者或希望系统理解机器学习的读者所必须了解的书籍。这本书系统而全面地论述了模式识别与机器学习领域的基本知识和最新发展,而该 GitHub 项目希望实现这本书的所有算法与概念,是非常优秀的资源与项目。 GitHub地址:https://github.com//ctgk/PRML PRML 这本机器学习和模式识别领域中经典的教科书不仅反映了这些年该领域的最新发展,同时还全面而系统地介绍了模式识别和机器学
本文将介绍四种基本的聚类算法—层次聚类、基于质心的聚类、最大期望算法和基于密度的聚类算法,并讨论不同算法的优缺点。
高斯混合模型(gmm)是将数据表示为高斯(正态)分布的混合的统计模型。这些模型可用于识别数据集中的组,并捕获数据分布的复杂、多模态结构。
以单细胞分辨率揭示组织分子结构有助于更好地了解生物体的生物学和病理过程。然而,bulk RNA-seq 只能测量细胞混合物中的基因表达。《Nature Communications》发表了一种基于深度学习框架的空间去卷积算法:Bulk2Space,首次实现将Bulk转录组重构至单细胞空间分辨率。
高斯混合模型(Gaussian Mixture Model)通常简称GMM,是一种业界广泛使用的聚类算法,该方法使用了高斯分布作为参数模型,并使用了期望最大(Expectation Maximization,简称EM)算法进行训练。本文对该方法的原理进行了通俗易懂的讲解,期望读者能够更直观地理解方法原理。文本的最后还分析了高斯混合模型与另一种常见聚类算法K-means的关系,实际上在特定约束条件下,K-means算法可以被看作是高斯混合模型(GMM)的一种特殊形式(达观数据 陈运文)。 什么是高斯分布?
希望时间的流逝不仅仅丰富了我们的阅历,更重要的是通过提炼让我们得以升华,走向卓越。 1Tags 排序算法 链表 树 图 动态规划 Leetcode Python Numpy Pandas Matplotlib 数学分析 线性代数 概率论 数据预处理 机器学习 回归算法 分类算法 聚类算法 集成算法 推荐算法 自然语言处理 Kaggle Tensorflow
进阶篇 机器学习算法 本篇是使用 Python 掌握机器学习的 7 个步骤系列文章的下篇,如果你已经学习了该系列的上篇基础篇:从 0 到 1 掌握 Python 机器学习(附资源),那么应该达到了令人
如何判断数据是否适合聚类? k类是如何确定的? 遇到数据集小的时候,如何得到直观的聚类图? 遇到非凸集数据,聚类要如何实现?
文中公式有问题,有需要阅读原文 https://www.jianshu.com/p/18dd0ce65bb8
本文利用R语言的独立成分分析(ICA)、谱聚类(CS)和支持向量回归 SVR 模型帮助客户对商店销量进行预测。首先,分别对商店销量的历史数据进行了独立成分分析,得到了多个独立成分;其次,利用谱聚类方法将商店销量划分成了若干类,并将每个类的特征进行了提取;最后,利用 SVR模型对所有的商店销量进行预测。实验结果表明,利用 FastICA、 CS和 SVR模型能够准确预测商店销量。
领取专属 10元无门槛券
手把手带您无忧上云