----
主要使用场景
Kafka 通常在数据管道中有两种主要使用场景:
Kafka 作为数据管道的一个端点,起源端或目的端。...Kafka 和 Connect API 与格式无关,使用可插拔的转换器。
转换:ETL vs ELT。ETL 可以节省空间和时间,但会限制下游系统。ELT 保留原始数据,更灵活。...ETL 和 ELT 的主要区别在于数据转换的时机和位置不同: ETL 在加载之前转换数据,ELT 是在加载之后转换数据。 ETL 的转换发生在源系统和目标系统之间,ELT 的转换发生在目标系统内。...总体来说,如果下游系统需要高度灵活地处理数据,并有较强的数据处理能力,ELT 往往更为合适。否则,ETL 可以在加载数据前进行预处理,减轻下游系统负载,这种方式会更高效。...很多情况下,也会采用 ETL 和 ELT 混合的方式