开源项目介绍｜Apache InLong 一站式海量数据集成框架

2022腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交 Apache InLong 项目申请书

Apache InLong(incubating) 项目介绍

Apache InLong(incubating) 是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。详细项目情况参考：https://inlong.apache.org/zh-CN/

Apache InLong 项目导师介绍

张超、张国成

Apache InLong PPMC    

导师寄语：

Apache InLong 是腾讯捐献 Apache 基金会的一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力。数据集成通过将不同来源的数据整合在一起，为商业和决策提供统一的有价值的数据，参与 InLong 有助于你掌握数据集成全链路技术细节，同时进入 Apache 开源的世界。

Apache InLong 相关资料

Apache InLong 官网地址：

http://inlong.apache.org/

Apache InLong 文档集合：

https://inlong.apache.org/zh-CN/docs/next/introduction/

Apache InLong 任务实战项目

编程任务

收获

（1）了解 Apache 开源项目如何运作

（2）了解海量数据集成框实现原理

项目1：收获支持 TubeMQ 命令行工具设计和开发（初级）：

（1）模块：TubeMQ

（2）说明：聚合到一个命令，进行Topic 的使用，降低使用门槛；比如tubectl topic list

（3）标准：功能需要包括：a，Topic 增删改查；b，发送和消费消息

项目2：SDK 负载优化（中级）:

（1）模块：DataProxy

（2）说明：SDK 在生产数据的时候，会选出一组节点发送数据，当其中部分出现问题时，剔除，选用新的候选节点

（3）标准：a，减少对生产的影响，做到客户端无感知；b，在服务器节点恢复后，能再次被选用；c，保证选用节点负载均衡

项目3：全链路集成测试框架设计和实现（高级） （1）模块：平台能力

（2）说明：由于InLong 数据链路涉及多个环节和组件，单个组件的修改都可能造成数据流异常。该题目需要给出通用的全链路测试框架，以及一条数据流验证准确性

（3）标准：a，具备良好的扩展性，可以快速支持新的数据节点；b，至少覆盖一条数据链路用于验证框架，比如 MySQL->Hive；c，能够跟GitHub Actions打通，创建对应流水线

扫码填写问卷报名，提交项目申请书

加入开发实战

与导师一起成长这一夏

Apache InLong 开源项目交流群

更多开源项目信息，

尽在“腾讯犀牛鸟开源人才社区”

扫码加入，解锁所有学习资料

🔍学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

 🔍官方QQ群：

859260607 （加群请备注学校+专业）

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

（点击文末阅读原文直接访问）

合作或疑问欢迎联系：tencentopen@tencent.com