腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习入门与实践

专栏作者

48

文章

72549

阅读量

44

订阅数

【原】Spark学习总结-六个专题

机器学习 spark

最近从hadoop转向Spark了，学了一段时间了，准备写个专题，主要写pySpark的应用，主要计划是：主题内容概要聚类（5.6） 1.几种常用的聚类算法；2.pyspark中聚类算法的应用（2-3个实例）分类&回归 1.几种常用的分类和回归算法；2.pyspark中分类和回归算法的应用（各一例）推荐 1.推荐常用算法；2.实例：音乐推荐和电商推荐文本挖掘 1.潜在语义分析；2.垃圾文本过滤；3.文本分类

2018-01-09

5100

【原】Spark之机器学习(Python版)(二)——分类

机器学习 spark python

　　写这个系列是因为最近公司在搞技术分享，学习Spark，我的任务是讲PySpark的应用，因为我主要用Python，结合Spark，就讲PySpark了。然而我在学习的过程中发现，PySpark很鸡肋（至少现在我觉得我不会拿PySpark做开发）。为什么呢？原因如下：　　1.PySpark支持的算法太少了。我们看一下PySpark支持的算法:(参考官方文档) image.png 　　前面两个pyspark.sql和pyspark.streaming是对sql和streaming的支持。主要是读取数

2018-01-09

1.3K0

【原】Learning Spark (Python版) 学习笔记(四)----Spark Sreaming与MLlib机器学习

机器学习 spark python

本来这篇是准备5.15更的，但是上周一直在忙签证和工作的事，没时间就推迟了，现在终于有时间来写写Learning Spark最后一部分内容了。　　第10-11 章主要讲的是Spark Streaming 和MLlib方面的内容。我们知道Spark在离线处理数据上的性能很好，那么它在实时数据上的表现怎么样呢？在实际生产中，我们经常需要即使处理收到的数据，比如实时机器学习模型的应用，自动异常的检测，实时追踪页面访问统计的应用等。Spark Streaming可以很好的解决上述类似的问题。了解Spark S

2018-01-09

1.2K0

【机器学习Machine Learning】资料大全

机器学习 spark 人工智能数据处理

　　昨天总结了深度学习的资料，今天把机器学习的资料也总结一下(友情提示：有些网站需要"科学上网"^_^) 　　推荐几本好书： 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements of Statistical Learning(by Bishop's) 　　这两本是英文的,但是非常全，第一本需要有一定的数学基础，第可以先看第二本。如果看英文觉得吃力，推荐看一下下面几本英文书

2018-01-09

8K0

【原】Learning Spark (Python版) 学习笔记(三)----工作原理、调优与Spark SQL

spark 数据处理 python 机器学习

　　周末的任务是更新Learning Spark系列第三篇，以为自己写不完了，但为了改正拖延症，还是得完成给自己定的任务啊 = =。这三章主要讲Spark的运行过程（本地+集群），性能调优以及Spark SQL相关的知识，如果对Spark不熟的同学可以先看看之前总结的两篇文章：【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性 #####我是

2018-01-09

1.8K0

【原】Spark之机器学习(Python版)(一)——聚类

机器学习人工智能 python spark

kmeans聚类相信大家都已经很熟悉了。在Python里我们用kmeans通常调用Sklearn包（当然自己写也很简单）。那么在Spark里能不能也直接使用sklean包呢？目前来说直接使用有点困难，不过我看到spark-packages里已经有了，但还没有发布。不过没关系，PySpark里有ml包，除了ml包，还可以使用MLlib，这个在后期会写，也很方便。　　首先来看一下Spark自带的例子： 1 from pyspark.mllib.linalg import Vectors 2 from p

2018-01-09

2.3K0

2015年总结与2016年目标和计划

大数据数据处理 spark linux

2015年是变化最大的一年，1月份考研失败，不接受任何调剂，只想读计算数学，搞数学建模，在家消沉了两星期，闲不住，就出去找事做。去了一家培训机构做老师，做了一个月被咨询部的老大挖过去做咨询师（我也不知道为啥要我过去，哈哈，难道是因为颜值吗？），然后又做了两个月，准备边工作边二战，但是怕失败，还是决定先找找工作。三月底在智联上投了一堆简历，当时已经错过校招了，没办法 = =，收到了几家面试邀请后，跟hr商量把所有的面试时间集中在一天，然后4月5号买了清明去北京的火车，做的硬座，14个小时，背疼了一天。休息

2018-01-09

8160

【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性

spark 大数据数据处理 python 机器学习

　　本来应该上周更新的，结果碰上五一，懒癌发作，就推迟了 = =。以后还是要按时完成任务。废话不多说，第四章-第六章主要讲了三个内容：键值对、数据读取与保存与Spark的两个共享特性（累加器和广播变量）。键值对（PaiRDD） 1.创建 1 #在Python中使用第一个单词作为键创建一个pairRDD,使用map()函数 2 pairs = lines.map(lambda x:(x.split(" ")[0],x)) 2.转化(Transformation) 转化操作很多，有reduceByKey，fo

2018-01-09

2K0

【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令

spark 大数据数据处理 python 机器学习

《Learning Spark》这本书算是Spark入门的必读书了，中文版是《Spark快速大数据分析》，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.4，评论一片好评，有点意思。我倒觉得这本书可以作为官方文档的一个补充，刷完后基本上对Spark的一些基本概念、码简单的程序是没有问题的了。这本书有一个好处是它是用三门语言写的，Python/Java/Scala，所以适用性很广，我的观点是，先精通一门语言，再去学其他语言。由于我工作中比较常用的是Python，所以就

2018-01-09

9000

大数据 spark hadoop

本文介绍了自己在过去一年里所看的一些书，并分享了从中获得的一些感悟和思考。作者认为，读书是一种非常好的方式，可以帮助人们从已有的认知中获取新的知识和灵感。在阅读这些书籍时，作者关注了书中所介绍的一些方法和技巧，并思考如何将其应用到实际工作中。同时，作者也强调了分享和交流的重要性，认为通过分享和交流，可以扩大自己的认知边界，也可以帮助他人更好地理解某些概念和想法。总的来说，作者认为读书是一种非常有益的活动，可以帮助人们更好地理解世界和思考问题。

2018-01-09

1.2K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态