腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

深度学习入门与实践

专栏作者

48

文章

72247

阅读量

44

订阅数

【原】浅谈KL散度（相对熵）在用户画像中的应用

　　最近做用户画像，用到了KL散度，发现效果还是不错的，现跟大家分享一下，为了文章的易读性，不具体讲公式的计算，主要讲应用，不过公式也不复杂，具体可以看链接。　　首先先介绍一下KL散度是啥。KL散度全称Kullback–Leibler divergence,也称为相对熵，信息增益，它是度量两个概率分布P与Q之间差异的一种不对称度量，可以看做是概率分布P到目标概率Q之间距离。一般情况下，P表示数据的真是分布，Q表示数据的理论分布，也可以理解为影响P分布的一种因素。计算公式为：　　　　　　　　　　　　　　　

2018-01-09

1.1K0

2015年总结与2016年目标和计划

大数据数据处理 spark linux

2015年是变化最大的一年，1月份考研失败，不接受任何调剂，只想读计算数学，搞数学建模，在家消沉了两星期，闲不住，就出去找事做。去了一家培训机构做老师，做了一个月被咨询部的老大挖过去做咨询师（我也不知道为啥要我过去，哈哈，难道是因为颜值吗？），然后又做了两个月，准备边工作边二战，但是怕失败，还是决定先找找工作。三月底在智联上投了一堆简历，当时已经错过校招了，没办法 = =，收到了几家面试邀请后，跟hr商量把所有的面试时间集中在一天，然后4月5号买了清明去北京的火车，做的硬座，14个小时，背疼了一天。休息

2018-01-09

8090

【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性

spark 大数据数据处理 python 机器学习

　　本来应该上周更新的，结果碰上五一，懒癌发作，就推迟了 = =。以后还是要按时完成任务。废话不多说，第四章-第六章主要讲了三个内容：键值对、数据读取与保存与Spark的两个共享特性（累加器和广播变量）。键值对（PaiRDD） 1.创建 1 #在Python中使用第一个单词作为键创建一个pairRDD,使用map()函数 2 pairs = lines.map(lambda x:(x.split(" ")[0],x)) 2.转化(Transformation) 转化操作很多，有reduceByKey，fo

2018-01-09

2K0

【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令

spark 大数据数据处理 python 机器学习

《Learning Spark》这本书算是Spark入门的必读书了，中文版是《Spark快速大数据分析》，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.4，评论一片好评，有点意思。我倒觉得这本书可以作为官方文档的一个补充，刷完后基本上对Spark的一些基本概念、码简单的程序是没有问题的了。这本书有一个好处是它是用三门语言写的，Python/Java/Scala，所以适用性很广，我的观点是，先精通一门语言，再去学其他语言。由于我工作中比较常用的是Python，所以就

2018-01-09

8930

大数据 spark hadoop

本文介绍了自己在过去一年里所看的一些书，并分享了从中获得的一些感悟和思考。作者认为，读书是一种非常好的方式，可以帮助人们从已有的认知中获取新的知识和灵感。在阅读这些书籍时，作者关注了书中所介绍的一些方法和技巧，并思考如何将其应用到实际工作中。同时，作者也强调了分享和交流的重要性，认为通过分享和交流，可以扩大自己的认知边界，也可以帮助他人更好地理解某些概念和想法。总的来说，作者认为读书是一种非常有益的活动，可以帮助人们更好地理解世界和思考问题。

2018-01-09

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态