组件分享之后端组件——开源ELT平台airbyte

组件分享之后端组件——开源ELT平台airbyte

背景

近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。

组件基本信息

• 组件：airbyte
• 开源协议：View license
• 官网：airbyte.com

内容

本节我们分享一个开源ELT平台airbyte。

Airbyte 的使命是使数据集成管道成为一种商品。

• 您可以在几分钟内使用的免维护连接器。只需验证您的源和仓库，并获得适合您的架构和 API 更改的连接器。
• 构建新的连接器变得微不足道。通过提供调度和编排，我们可以非常轻松地使用您选择的语言添加您需要的新连接器。
• 旨在涵盖连接器的长尾和需求。受益于社区久经考验的连接器，并使它们适应您的特定需求。
• 您的数据保留在您的云中。完全控制您的数据以及数据传输的成本。
• 由于 Airbyte 是自托管的，因此无需再执行安全合规流程。
• 不再像基于云的解决方案提供的那样，按数量进行定价。

特征

• 为可扩展性而构建：根据您的需求调整现有连接器或轻松构建新连接器。
• 可选的规范化模式：完全可定制，从原始数据或规范化数据的一些建议开始。
• 完整的调度程序：以您需要的频率自动化您的复制。
• 实时监控：我们会详细记录所有错误以帮助您了解。
• 增量更新：自动复制基于增量更新，以降低您的数据传输成本。
• 手动完全刷新：有时，您需要重新同步所有数据才能重新开始。
• 调试自主性：根据需要修改和调试管道，无需等待。

具体使用方式如下： 1、docker安装

git clone https://github.com/airbytehq/airbyte.git
cd airbyte
docker-compose up

现在访问http://localhost:8000

具体使用方式可以参见该README

本文声明：

知识共享许可协议

本作品由 cn華少 采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可。