腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

人工智能头条

专栏作者

1089

文章

1062839

阅读量

148

订阅数

大数据改变世界，Spark改变大数据——中国Spark技术峰会见闻

大数据 spark 推荐系统

作者：张相於，当当网推荐系统开发经理责编：周建丁（zhoujd@csdn.net）笔者5月15日参加了“中国云计算技术大会”中的“中国Spark技术峰会”，一天12场干货满满的演讲听下来，有两点深刻的感受： Spark生态圈正在越来越深刻和广泛地影响和改造大数据应用行业。 Spark本身也正以飞快的速度发展，在功能和性能方面稳步发展。下面就笔者比较感兴趣的两个领域，Spark应用实例和Spark自身发展，和大家分享一下自己的见闻。 Spark应用实例腾讯广点通来自腾讯广点通的同学介绍了Spark

2018-06-06

5930

基于Spark的异构分布式深度学习平台

spark 分布式深度学习

文/张伟德，曲宁，刘少山导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。深层神经网络技术最近几年取得了巨大的突破，特别在语音和图像识别应用上有质的飞跃，已经被验证能够使用到许多业务上。如何大规模分布式地执行深度学习程序，使其更好地支持不同的业务线成为当务之急。

2018-06-06

1.8K0

大规模主题模型：对Spark LDA算法的改进

编程算法 spark

这篇文章由Databricks的Feynman Liang和Joseph Bradley，以及Intel的Yuhao Yang撰写。在使用LDA之前，请先下载Spark 1.5或是申请试用版的Databricks。人们正在推特上讨论什么呢？为了关注分布式计算，我该阅读哪些资讯文章呢？这些问题都能够被话题模型所解答，它是分析文档集所涵盖话题类别的一种技术。本文将要讨论Spark 1.4和1.5使用强大的隐含狄利克雷分布（Latent Dirichlet Allocation，LDA）算法对话题模型的

2018-06-06

1.1K0

去年挤不进去的推荐系统论坛又来了！ | BDTC 2017

推荐系统大数据 spark 编程算法

还记得去年人满为患的推荐系统论坛吗？没错，就是那个挤都挤不进去的推荐系统论坛。2017年12月9日，在2017中国大数据技术大会上，该论坛将再次重装上阵！推荐系统论坛向来是中国大数据技术大会上最受关注的论坛之一，去年，推荐系统论坛给大家带来了《基于大数据的个性化出行服务与公共资源协同分配》、《易到大数据的过去、现在和将来》、《滴滴交通大数据实战》、《综合交通运行感知体系构建与监测大数据统筹应用》、《携程Spark 算法平台及其应用》等精彩内容。而在今年的推荐系统论坛上，论坛主席AdMaster技术副总裁

2018-06-05

1.2K0

在Apache Spark上跑Logistic Regression算法

apache spark 编程算法机器学习

本文旨在介绍使用机器学习算法，来介绍Apache Spark数据处理引擎。我们一开始会先简单介绍一下Spark，然后我们将开始实践一个机器学习的例子。我们将使用Qualitative Bankruptcy数据集，来自UCI机器学习数据仓库。虽然Spark支持同时Java，Scala，Python和R，在本教程中我们将使用Scala作为编程语言。不用担心你没有使用Scala的经验。练习中的每个代码段，我们都会详细解释一遍。 APACHE SPARK Apache Spark是一个开源的集群计算框架，用Spa

2018-06-05

1.5K0

谢澎涛：如何评价Eric Xing实验室做的Petuum分布式机器学习平台？

分布式机器学习 spark 编程算法

Petuum是一个专门针对机器学习的分布式平台，Spark以数据流应用为主，所以二者的应用对象不同。Spark有一个机器学习库MLLib, 但构建于数据流操作之上，并非针对机器学习算法的特点而设计。机器学习算法和计算机领域的其他算法相比，有自己的一些独特特点。例如，（1）迭代性：模型的更新并非一次完成，需要循环迭代多次；（2）容错性：即使在每个循环中产生一些错误，模型最终的收敛不受影响；（3）参数收敛的非均匀性：模型中有些参数经过几个循环便不再改变，其他参数需要很长时间收敛。等等。这些特点决定了机器学

2018-06-05

8450

基于PredictionIO的推荐引擎打造，及大规模多标签分类探索

spark 机器学习 apache sql

在2015年3月21日的北京Spark Meetup第六次活动上，一场基于Spark的机器学习专题分享由微软Julien Pierre、新浪网白刚与Intel研究院尹绪森联手打造。 Julien Pi

2018-06-05

9300

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态