腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯开源的专栏

专栏作者

423

文章

580220

阅读量

114

订阅数

开源项目介绍｜Firestorm - 面向分布式计算框架的 Remote Shuffle Service

https 网络安全 rpc spark 腾讯云测试服务

2022腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交 Firestorm 项目申请书 Firestorm 项目介绍 Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的分布式计算框架重要的组成部分，该服务也用来提升分布式计算的整体性能，已在生产系统中大规模部署使用。 Firestorm 项目导师介绍马骏杰、齐赫 Firestorm 开源项目负责人、Firestorm 开源项目架构师导师寄语： Fires

2022-06-24

5570

坚持贡献10年，他在开源领域做到了国际顶尖

开源大数据 apache spark

从技术小白成长为有着Apache member、Apache spark PMC、Apache Livy PPMC等头衔的国际顶级开源大牛，邵赛赛用了十年。在回答是什么让这位鹅厂技术大牛十年如一日贡献开源时候，他的回答是“爱和坚持”。刚接触Apache开源社区时，邵赛赛时常看着邮件列表陷入了迷茫，这种上世纪90年代流行的互联网沟通方式，在20年后已经让新生代的程序员们有些看不懂了。如何订阅、回复还有邮件要发给谁，都是他感到疑惑的问题。更加令他疑惑的还有各种英文缩写，虽然认识每个英文字母，但组合在一起却

2022-02-24

3200

腾讯首个AI开源项目Angel发布3.0里程碑版本，迈向全栈机器学习平台

spark 编程算法机器学习神经网络人工智能

2019年8月22日，腾讯首个AI开源项目Angel正式发布3.0版本。Angel 3.0尝试打造一个全栈的机器学习平台，功能特性涵盖了机器学习的各个阶段：特征工程、模型训练、超参数调节和模型服务。 Angel 3.0概览（红色表示新增特性，白色表示已有但在持续改进的特性） Angel的特征工程模块基于Spark开发，增强了Spark的特征选择功能，同时使用特征交叉和重索引实现了自动特征生成。这些组件可以无缝地整合进Spark的流水线。为了让整个系统更加的智能，Angel 3.0新增了超参数调节

2019-08-28

7190

“轻易强快”的Spark on Angel，大数据处理爽到爆！

spark 大数据

作者简介游遵文机器学习算法工程师，现任职于腾讯TEG数据平台部智能学习组，专注于机器学习算法的研究及其分布式实现，参与Angel开源项目开发及优化。 Spark的核心概念是RDD，而RDD的关键特性之一是其不可变性，来规避分布式环境下复杂的各种并行问题。这个抽象，在数据分析的领域是没有问题的，它能最大化的解决分布式问题，简化各种算子的复杂度，并提供高性能的分布式数据处理运算能力。然而在机器学习领域，RDD的弱点很快也暴露了。机器学习的核心是迭代和参数更新。RDD凭借着逻辑上不落地的内存计算特性，可以很

2018-03-02

1.1K0

道器相融，由 Angel 谈一个优秀机器学习平台的自我修养（下）

机器学习 tensorflow spark 开源大数据

2017-10-16

1.7K0

道器相融，由 Angel 谈一个优秀机器学习平台的自我修养

机器学习人工智能大数据 spark 深度学习

2017-10-16

1.6K1

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态