问卡夫卡动态消息编排流程引擎

EN

我将尝试在(SCDF)上下文中解压一些主题。

开发人员通常应该配置数据流(这是一系列步骤)以形成数据处理管道的工具包。零编码或极小编码的声明式方法。

还有我们维护和运输的~70数据集成应用程序。它们应该涵盖最常见的用例。它们中的每一个都是Spring应用程序，其中的业务逻辑可以与框架支持的各种消息代理 (包括Kafka和Kafka流)一样工作。

但是，当您有一个自定义数据处理需求，并且没有应用程序来满足这一需求时，您将不得不构建一个定制的应用程序源、处理器或接收器样式。如果您不想使用Java，多进制工作负载也是可能的。

SCDF允许您将应用程序组装成一个连贯的流数据管道[请参阅流开发人员指南]。然后，精心安排部署将数据管道中的应用程序作为本地资源发送到目标平台，如Kubernetes。

由于这些应用程序是通过持久的发布/子代理(例如: Kafka)相互连接的，所以SCDF还提供原语来CI/CD，滚动升级和回滚流数据管道中的各个应用程序，而不会造成上游或下游的影响。数据排序和保证也被保留，因为我们依赖并委托给底层message。

底层的消息传递基础设施应该是Kafka --也就是说，工具箱应该直接支持Kafka (包括正确的依赖项)。

这一点已在上一个答覆中提及。但是，需要注意的是，在未来，如果您想从Kafka切换到Azure事件中心，那么业务逻辑中绝对不需要任何代码更改。工作负载是可移植的，而且您没有将自己锁定在像Kafka这样的单一技术中。

非常直观地可视化、部署和调试流

SCDF支持drag+drop接口，与可观察工具(如Prometheus+Grafna )和数据管道中基于度量的应用程序自动缩放集成。

还可以通过直接使用SCDF的API接口、Java (用于CI/CD自动化的数据管道的编程创建- critical)或外壳/CLI来完成上述所有工作。

流数据的聚合功能(按组分组)等

当使用Kafka绑定器实现时，您可以构建全面的联接、聚合和状态分析--参见样本。