在FP Tree算法原理总结和PrefixSpan算法原理总结中，我们对FP Tree和PrefixSpan这两种关联算法的原理做了总结，这里就从实践的角度介绍如何使用这两个算法。由于scikit-learn中没有关联算法的类库，而Spark MLlib有，本文的使用以Spark MLlib作为使用环境。
摘要： 本系列旨在普及那些深度学习路上必经的核心概念，文章内容都是博主用心学习收集所写，欢迎大家三联支持！本系列会一直更新，核心概念系列会一直更新！欢迎大家订阅
官方文档：https://spark.apache.org/docs/2.2.0/ml-frequent-pattern-mining.html
上一篇数据挖掘系列（1）关联规则挖掘基本概念与Aprior算法介绍了关联规则挖掘的一些基本概念和经典的Apriori算法，Aprori算法利用频繁集的两个特性，过滤了很多无关的集合，效率提高不少，但是我们发现Apriori算法是一个候选消除算法，每一次消除都需要扫描一次所有数据记录，造成整个算法在面临大数据集时显得无能为力。今天我们介绍一个新的算法挖掘频繁项集，效率比Aprori算法高很多。 FpGrowth算法通过构造一个树结构来压缩数据记录，使得挖掘频繁项集只需要扫描两次数据记录，而且该算法不需要生
不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。
上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘，weka方便实用，但不能处理大数据集，因为内存放不下，给它再多的时间也是无用，因此需要进行分布式计算，mahout是一个基于hadoop的分布式数据挖掘开源项目（mahout本来是指一个骑在大象上的人）。掌握了关联规则的基本算法和使用，加上分布式关联规则挖掘后，就可以处理基本的关联规则挖掘工作了，实践中只需要把握业务，理解数据便可游刃有余。 安装mahout 骑在大象上的侠士必然需要一头雄纠纠的大象，不过本文不解绍大象hadoop，所以我假定已经
在学习spark mlib机器学习方面，为了进行算法的学习，所以对原有的算法进行了试验。从其官网（http://spark.apache.org/docs/latest/mllib-guide.html）上进行了相关文档的介绍学习，并通过其给定的例子包中相关进行测试。
前面几篇介绍了关联规则的一些基本概念和两个基本算法，但实际在商业应用中，写算法反而比较少，理解数据，把握数据，利用工具才是重要的，前面的基础篇是对算法的理解，这篇将介绍开源利用数据挖掘工具weka进行管理规则挖掘。 weka数据集格式arff arff标准数据集简介 weka的数据文件后缀为arff（Attribute-Relation File Format，即属性关系文件格式），arff文件分为注释、关系名、属性名、数据域几大部分，注释用百分号开头%，关系名用@relation申明，属性用@
推荐系统是大数据时代的利器，它能够为企业提升用户体验、增加用户粘性、促进销售转化、提高营销效率等。但是，搭建一个成功的推荐系统并不容易，它需要综合考虑多方面的因素，并根据业务场景、用户需求、数据变化等不断地进行迭代和优化。
搜索团队正好需要计算一些词汇的相似性，这个用Word2Vec是很方便的。于是我立马安排算法团队帮个忙弄下。但回头想想，因为这么点事，打断了算法手头的工作，这简直不能忍。
个性化推荐是随着移动互联网发展不断发展起来的，它是建立在海量数据挖掘基础上的一种高级商务智能平台，以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。有赞微商城使用个性化推荐系统，尤其是在关键节点增加推荐入口，进行场景化推荐，帮助商家进一步提高用户的付款转化率，最大化流量变现。
使用文档关联规则挖掘算法来提高文档管理软件的管理效率可是一个非常棒的办法，就像熟练的园丁在整理花园一样，轻松为用户梳理海量文档。这种算法犹如一把神奇的法宝，能够揭示文档之间的奇妙关系和潜在模式，使文档分类、检索和推荐如丝般顺滑，就像天然的流水一般。接下来，就让我们来探讨一下如何通过文档关联规则挖掘算法提高文档管理软件的管理效率吧：
大数据这个词为什么现在这么火，个人的理解是用一个新瓶装了很多旧酒，也就是说之前的很多技术，概念或者应用现在都可以往大数据这个词里放，比如分布式处理，数据挖掘，机器学习，文本处理，语音/图像处理，个性化
本文介绍了如何使用 FP-growth 算法来发现数据集中的频繁项集，并基于这些频繁项集构建 FP 树。FP-growth 算法是一种基于“分而治之”策略的关联规则挖掘算法，具有速度快、内存需求低等优点，适合在大型数据集上挖掘频繁项集。FP 树是一种高效的数据结构，可以用于存储频繁项集，支持快速的项集遍历和查询。在本文中，作者首先介绍了 FP-growth 算法的原理和实现，然后通过一个具体的例子展示了如何使用 FP-growth 算法来发现数据集中的频繁项集，并基于这些频繁项集构建 FP 树。最后，作者通过一个具体的应用场景展示了如何使用 FP 树来进行关联规则挖掘。
本篇通过爬虫和Fp-growth的简单应用，从网页上记载的985校训中发现频繁词。
问题向导: (1)Spark机器学习库是什么，目标是什么？ (2)MLlib具体提供哪些功能？ (3)MLlib为什么要改用基于DataFrame的API? 1.Spark机器学习库(MLlib
目前从纯数学专业转行到机器学习领域已经有两年半了，又到了该总结转行经验和个人成长的时候。笔者在公司里面已经做过智能推荐系统，智能安全系统和智能运维系统。除此之外，笔者对量子计算等前沿内容也有所了解。不过，还是那句老话，大牛们请主动忽视以下内容，初学者可以用作参考。 1 编程语言 目前工业界的机器学习编程语言很多，基于个人的一些浅显的工作经验，发现目前比较常用的编程语言是Python和SQL。 通常来说，SQL 是为了从数据库中提取数据，然后进行必要的数据过滤，数据分析，数据提取。对于 SQL，需要掌握的
基于用户行为数据设计的推荐算法一般称为协同过滤算法，实现方法有基于邻域、基于隐语义模型、基于图的随机游走算法等，目前使用最多的是基于邻域的推荐算法，基于邻域的推荐算法又分为基于物品推荐算法和基于用户推荐算法。
如果一个集合是频繁的，那么在同一个最小sup值下，它的子集也是频繁的。算法的核心思想是：首先找到所有的1项代表集C1，根据sup过滤得到频繁集合F1，从F1中得到代表集C2，C2的自己如果有不在F1中的，就删掉【这个过程称为剪枝】，然后遍历数据集，当C2中的数据在原始数据集中是频繁的时候，得到频繁集F2，依次往复。
找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。 纵观IT行业的招聘岗位，机器学习之类的岗位还是挺少的，国内大点的公司里百度，阿里，腾讯，网易，搜狐，华为（华为的岗位基本都是随机分配，机器学习等岗位基本面向的是博士）等会有相关职位，另外一
机器学习概述 机器学习基本概念 机器学习基本流程与工作环节 机器学习中的评估指标 机器学习算法一览 3. 机器学习基本流程与工作环节 3.1 机器学习应用几大环节 预测模型 image 机器学习算法
机器学习算法尝试根据训练数据（training data）使得表示算法行为的数学目标最大化，并以此来进行预测或作出决定。
就数据分析职业来说，个人感觉这对互联网公司来说是非常重要的，也是确实能够带来实际效果的东西。比如说利用数据分析做会员的细分以进行精准化营销；利用数据分析来发现现有的不足，以作改进，让顾客有更好的购物体验；利用CRM系统来管理会员的生命周期，提高会员的忠诚度，避免会员流失；利用会员的购买数据，挖掘会员的潜在需求，提供销售，扩大影响力等等。 最开始进公司的时候是在运营部，主要是负责运营报表的数据，当时的系统还很差，提取数据很困难，做报表也很难，都是东拼西凑一些数据，然后做成PPT，记得当时主要的数据就是销
关联规则挖掘（Association Rule Mining）最早是由Agrawal等人提出。最初的动机是解决购物篮分析（Basket Analysis）问题，目的是发现交易数据库（Transaction Database）中不同商品之间的联系规则。
08年毕业，不知不觉的混进了电子商务行业，又不知不觉的做了三年数据分析，恰好又赶上了互联网电子商务行业发展最快的几年，也算是不错吧，毕竟感觉前途还是很光明的。三年来，可以说跟很多同事学到了不少东西，需
本文和大家分享一个来自Stanford的开源大数据和机器学习系统：MacroBase。
08年毕业，不知不觉的混进了电子商务行业，又不知不觉的做了三年数据分析，恰好又赶上了互联网电子商务行业发展最快的几年，也算是不错吧，毕竟感觉前途还是很光明的。三年来，可以说跟很多同事学到了不少东西，需要感谢的人很多，他们无私的教给了我很多东西。 就数据分析职业来说，个人感觉这对互联网公司来说是非常重要的，也是确实能够带来实际效果的东西。比如说利用数据分析做会员的细分以进行精准化营销；利用数据分析来发现现有的不足，以作改进，让顾客有更好的购物体验；利用CRM系统来管理会员的生命周期，提高会员的忠诚度，避免会员
在我们生活的世界, 很多事情一旦发生便不可撤销，例如亲人的去世、商业活动的失败 ...
前面我们讨论的关联规则都是用支持度和自信度来评价的，如果一个规则的自信度高，我们就说它是一条强规则，但是自信度和支持度有时候并不能度量规则的实际意义和业务关注的兴趣点。 一个误导我们的强规则 看这样一个例子，我们分析一个购物篮数据中购买游戏光碟和购买影片光碟之间的关联关系。交易数据集共有10,000条记录，其中购买6000条包含游戏光碟，7500条包含影片光碟，4000条既包含游戏光碟又包含影片光碟。数据集如下表所示： 买游戏不买游戏行总计买影片400035007500不买影片200050025
从这篇开始，我将介绍分类问题，主要介绍决策树算法、朴素贝叶斯、支持向量机、BP神经网络、懒惰学习算法、随机森林与自适应增强算法、分类模型选择和结果评价。总共7篇，欢迎关注和交流。 这篇先介绍分类问题的一些基本知识，然后主要讲述决策树算法的原理、实现，最后利用决策树算法做一个泰坦尼克号船员生存预测应用。 一、分类基本介绍 物以类聚，人以群分，分类问题只古以来就出现我们的生活中。分类是数据挖掘中一个重要的分支，在各方面都有着广泛的应用，如医学疾病判别、垃圾邮件过滤、垃圾短信拦截、客户分析等等。分类问题
有几天没更博客了，主要这几天一直忙着知识回顾和投简历，所以写博客的任务就一直被耽搁了。
在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机器学习专题分享由微软Julien Pierre、新浪网白刚与Intel研究院尹绪森联手打造。 Julien Pi
在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机器学习专题分享由微软Julien Pierre、新浪网白刚与Intel研究院尹绪森联手打造。
之前流水账似的介绍过一篇机器学习入门的文章，大致介绍了如何学习以及机器学习的入门方法并提供了一些博主自己整理的比较有用的资源。这篇就尽量以白话解释并介绍机器学习在推荐系统中的实践以及遇到的问题... 也许很多点在行家的眼里都是小菜一碟，但是对于刚刚接触机器学习来说，还有很多未知等待挑战。 所以读者可以把本篇当做是机器学习的玩具即可，如果文中有任何问题，还请不吝指教。 本篇将会以下面的步骤描述机器学习是如何在实践中应用的： 1 什么是推荐系统？ 2 机器学习的作用 3 机器学习是如何使用的？ 4 基于S
前些天完成了《机器学习实战》这本书的学习，也利用 Python3 实现了各个章节的代码，对传统的机器学习方法有了更进一步的了解，这里做一个总结。 代码传送门： https://github.com/xyxxmb/Machine-Learning-In-Action 目录 第一部分：分类 【Ch1】机器学习基础 【Ch2】k - 近邻算法 【Ch3】决策树 【Ch4】基于概率论的分类方法：朴素贝叶斯 【Ch5】Logistic 回归 【Ch6】支持向量机 【Ch7】利用 AdaBoost 元算法
本文首先通过“啤酒与尿布”的故事入手，介绍机器学习中常见问题——频繁项挖掘的应用背景；其次，简要介绍频繁项挖掘最常用的两种算法——Apriori算法和FP-growth算法；然后，对于高维度下频繁项数量爆炸的问题，提出几点建议；最后，笔者以多维母机指标为案例，简要介绍频繁项挖掘在腾讯云实际场景中的应用。
第一章 建设背景 1.1 国家政策 2017年1月 工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。 2018年9月 工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行业大数据融合应用、民生服务大数据应用、大数据测试评估、大数据重点标准研制及应用、政务数据共享开放平台及公共数据共享开放平台等10个方向200个项目。 2019年11月 为进一步落实《国务院关于印发促进大数据发展行动纲要的通知》和《大数据产业发展规划（2016~2020年）》，推进实施国家大数据战略，务实推动大数据技术、产业创新发展，我国工业和信息化部将组织开展2020年大数据产业发展试点示范项目申报工作。 1.2 发展趋势 据IDC分析报道，中国互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。 当今大数据一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。面向数据分析市场的新产品、新技术、新服务、新业态正在不断涌现，从个人、学院、企业到国家层面，都把数据作为一种重要的战略资产，逐渐认识到了数据的价值，不同程度地渗透到每个行业领域和部门，随着大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。 1.3 建设必要性 将大数据运用于教学与科研是一种趋势，目前各高校都在寻找符合自身特点的大数据应用开发模式，各学校的平台根据自身学科发展的方向基于大数据平台面向政府、企业、高校、社会提供服务。通过对遍布教、学、研多层面的数据进行整合，并结合对大数据技术的有效利用，可以从根本上给教育、科研带来全方位的提升。通过大数据平台技术的应用，可以帮助学生改善学习效率，提供符合职业规划的个性化学习服务；同时也有助于教育和科研机构加快提升科研成果和提高教育质量，培养更多更优秀的创新性人才。 数据挖掘和大数据分析是多学科交叉产物，其涉及统计学、计算机网络、数据库、机器学习、人工智能以及模式识别等多种学科领域。目前，在我国高校的专业设置上与数据挖掘与大数据分析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业在使用大数据挖掘与分析平台时的侧重点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的综合平台是非常有必要的。大数据挖掘与分析平台能够满足学校长期稳定、饱满的实践教学或科研等任务，适应学科专业建设和实训、科研及社会服务的需要。 第二章 建设目标 2.1 帮助师生进行科研活动 大数据挖掘与分析平台建设项目，可辅助教师与学生在科研项目方面的研究工作，从数据分析、数据挖掘和场景应用的可视化等多方面多环节，降低数据挖掘学习门槛，提升师生数据挖掘能力。 2.2 提高学生的实践能力 大数据分析目前是各大企业、政府、事业单位进行的一项工作内容，同时这种应用随着时间的推移将更加广泛。平台的建立就是为培养这样的人才所做的必要准备，将会对提高学生的社会调查研究实践能力、数据分析能力具有显著帮助，同时提高学生自身在就业中的竞争优势和就业后对社会的服务水平。 2.3 促进重点学科和品牌专业建设 大数据挖掘与分析平台建设项目，依托具有品牌专业的学科专业而建设，随着统计理论的发展，统计方法已经成为各个领域不可缺少的方法论。它的建设不仅对相关专业的未来发展有着重大的意义，同时也将大大促进学科特色优势学科的深化发展。提升学校知名度、美誉度和科研能力。 第三章 大数据挖掘与分析平台 3.1 整体介绍 3.1.1 产品概述 红亚科技大数据挖掘与分析平台是一款集数据接入、数据处理、数据挖掘、数据可视化、数据应用于一体的软件产品。它秉持“智能、互动、增值”的设计理念，面向高校用户提供自助式数据探索与分析能力，帮助用户快速发现数据意义与价值。 平台包括可视化探索、深度分析两大模块。 可视化探索模块：提供拖拽式的操作，让用户能够随时更改观察数据的维度、指标，将数据以丰富的图表方式，进行迅速、直观的表达，同时借助联动、钻取、链接等交互操作，
本文介绍了基于R语言的SparkR和基于Python的Spark-Python两个大数据平台的交互方式。主要内容包括：1.基于R语言的SparkR，支持R语言的所有统计函数和绘图功能；2.基于Python的Spark-Python，支持Python的多种数据处理和机器学习库；3.通过SparkR和Spark-Python交互，实现大数据的交互式分析。
#用python打印出直角三角形： 1 #!/usr/bin/env python 2 # coding=utf-8 3 i = 0 4 while i < 5: 5 j = 0 6 while j <= i: 7 print "*", 8 j+=1 9 print "" 10 i+=1 输出效果如下： * * * * * * * * * * * * * * * #对
本文翻译自：《Key differences between Python 2.7.x and Python 3.x》 许多 Python 初学者想知道他们应该从 Python 的哪个版本开始学习。对于这个问题我的答案是 “你学习你喜欢的教程的版本，然后检查他们之间的不同。” 但如果你并未了解过两个版本之间的差异，个人推荐使用 Python 2.7.x 版本，毕竟大部分教材等资料还是用Python 2.7.x来写的。 但是如果你开始一个新项目，并且有选择权？我想说的是目前没有对错，只要你计划使用的库 Pyt
虽然网上有很多人说不要乱动 CentOS 系统搭配好的 Python 环境，因为有很多系统程序是基于 Python2 的，比如 yum。但仔细想想，那些程序对 Python 的引用不都是人为的么？作为一个规范的系统，在引用一个解析器这方面肯定是有章可循的，而且现在不是都在将工作环境转移到 Python3 了么？虽然现在都是用 virtualenv 虚拟环境来搭环境了，不在乎系统全局的 Python 是什么版本，但有时候就是想好好玩一下，如果你也想玩的话，请继续往下看哈~下面会拿两个例子说下 CentOS 中一些程序对 Python2 的依赖是如何继续保持的：
本章节使用Python 3（Python 3.6.5），所以这里点击Python 3.6.5
Windows 下python3和python2 我们该怎么同时安装python3跟python2呢
python是一个解释型语言. 指的就是将源代码丢个解释器. 解释一行代码,翻译成机器语言给cpu执行. 编译型语言例如C/C++ 直接将源代码翻译成机器语言,交给cpu执行. 特点:
接下来我们手动安装python3，并且配置后可以Python2和Python3两个环境都能使用。
Python是世界上最受欢迎的编程语言之一。 凭借其简单易学的语法，Python是初学者和经验丰富的开发人员的流行选择。
9.Python 2to3：自动将Python 2.x代码转换成Python3.x代码
Python官方非常正式的在官网上发表一封公开信，再次强调Python 2将于2020年元旦停止维护！之后，官方将不会再对任何bug、安全漏洞进行任何更新或者修复。这就意味着，如果你还想继续使用Python 2，再碰到问题就只能自己想办法了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
