开源项目介绍｜Firestorm - 面向分布式计算框架的 Remote Shuffle Service

2022腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交 Firestorm 项目申请书

Firestorm 项目介绍

Firestorm是腾讯研发并开源的面向分布式计算框架的Remote Shuffle Service。作为云原生的分布式计算框架重要的组成部分，该服务也用来提升分布式计算的整体性能，已在生产系统中大规模部署使用。

Firestorm 项目导师介绍

马骏杰、齐赫

Firestorm 开源项目负责人、Firestorm 开源项目架构师

导师寄语：

Firestorm 是腾讯自研的分布式 Remote Shuffle Service ，对于分布式计算框架上云有着极大的助推作用。通过学习，你不仅能了解到如何设计高性能，可扩展的分布式服务，同时还能掌握分布式计算框架的实现原理，如， Apache Spark 。欢迎同学们积极参与项目研发。

Firestorm 相关资料

Firestorm 文档合集：

‍https://cloud.tencent.com/developer/article/1899893

https://cloud.tencent.com/developer/article/1943179

https://github.com/Tencent/Firestorm#readme

Firestorm 介绍视频：

https://www.bilibili.com/video/BV1Ah411x7ay?spm_id_from=333.337.search-card.all.click 

Firestorm 任务实战项目

编程任务

初阶任务：开发 Firestorm 管理工具

基于 Firestorm 的架构，增加管理工具用来获取集群信息，更新集群状态，调整集群参数等。

在完成这个任务的过程中，同学们将会学到 Firestorm 的基本架构及功能，并通过 RestApi 等方式对集群进行管理。

中阶任务：完善 Firestorm 测试流程

基于 Spark 引擎，在集成测试中增加 TPC-DS 测试，对 Firestorm 的正确进行验证

在这个任务中，同学们可以增加对 Firestorm 和 Spark 两个系统的了解，同时也会对业界比较流行的  SQL测试集 TPCDS 有一定的了解

高阶任务：优化 RPC 通信机制

对 Firestorm的RPC 通信机制进行优化，提升 RPC 通信性能。

需要考虑：如何定义 RPC 通信协议，如何管理 RPC 的通信过程等。

在完成这个任务的过程中，同学们将会对 netty 项目有深刻的了解，并基于 netty 完成整体的优化工作。

扫码填写问卷报名，提交项目申请书

加入开发实战

与导师一起成长这一夏

Firestorm 开源项目交流群

更多开源项目信息，

尽在“腾讯犀牛鸟开源人才社区”

扫码加入，解锁所有学习资料

🔍学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

 🔍官方QQ群：

859260607 （加群请备注学校+专业）

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

（点击文末阅读原文直接访问）

合作或疑问欢迎联系：tencentopen@tencent.com