Kafka对实时数据的主要优势是什么?

  • 回答 (6)
  • 关注 (0)
  • 查看 (2844)

在我们的大数据时代,您的IT基础架构可能会受到各种来源数据涌入的影响。最重要的是,客户要求“实时”查看他们的数据,没有任何延迟时间,因此您的服务器需要快速处理和显示数据。Kafka是一个分布式流媒体平台,使公司能够创建实时数据源。Uber,Twitter,Airbnb,Yelp以及今天财富500强公司中超过30%的公司都在使用它。例如,通过集成各种数据,如喜欢,页面点击,搜索,订单,购物车和库存,Kafka可以帮助实时将数据提供给预测分析引擎,以分析客户行为。

那么 Kafka有哪些好处,您的公司为什么要采用它,以及您的IT团队成功实施它需要哪些技能?

uncle_lightuncle_light提问于
帅的惊动我国计算机大神回答于
推荐

Kafka的4个主要优点

随着公司从不同来源(例如网站,用户交互,金融交易)向各种目标系统(例如数据库,分析,电子邮件系统)提供越来越多的数据,开发人员必须为每个系统编写集成。例如,如果您有4个源系统和6个目标系统,那么您的IT团队开发人员必须编写24个集成代码。这是一个繁琐的过程,更不用说,一种缓慢且容易出错的数据传输方式。以下是使用Kafka的四个主要优点。

1. Kafka充当缓冲区,因此您的系统不会崩溃

以前,外部源系统的数据转换通常在晚上分批进行。Kafka通过充当从源系统接收数据的中介,然后实时地将这些数据提供给目标系统来解决这个缓慢的多步骤过程。更重要的是,您的系统不会崩溃,因为 Kafka是它自己独立的一组服务器(称为 Kafka集群)。

2.减少对多个集成的需求

从本质上讲, Kafka减少了对多个集成的需求 - 因为所有数据都通过 Kafka。您可以为每个生产系统和每个消耗系统创建一个与Apache Kafka的集成,而不是您的开发人员编写多个集成以便您可以从不同系统中获取数据。

3.低延迟和高吞吐量

通过解耦数据流, Kafka允许您在需要时使用数据。在不需要缓慢集成的情况下,Kafka将延迟(或每个数据点加载所需的时间)减少到仅仅10毫秒(与其他集成相比减少约10倍或更多)。这意味着您可以快速,实时地提供数据。 Kafka还可以横向扩展到群集中的数百个代理(或服务器)来管理大数据。

有些公司每秒通过Kafka拥有数百万个数据点的高负载。例如,优步使用Kafka实时将汽车位置数据提供给他们的激增定价计算模型。

4.每个人都可以访问数据

由于您的所有数据都集中在 Kafka中,因此任何团队的数据访问都变得更加容易。例如,在过去,您的欺诈团队可能不得不与网络团队互动以获取特定类型的用户数据,因为它们在不同的目标系统上运行。现在,您的欺诈团队将能够通过Kafka直接访问用户数据,以及其他提要,例如财务数据或网站交互。简单吧?

您的IT团队需要的 Kafka技能

一旦了解了好处并决定采用 Kafka,您的IT团队就需要掌握在组织中设置和管理 Kafka的关键技能。以下是您的团队需要的一些关键技能。

如何学习,设置和配置Apache Kafka。Kafka已经构建,开源且免费。所以它更多的是首先获得技能,然后设置 Kafka并为您的系统配置它。我的课程Kafka系列:学习Kafka for Beginners是您的团队开始学习该技术的好地方。我介绍了Kafka生态系统,一些目标架构的外观,以及Kafka的基本概念,如主题,分区,复制,代理,生产者,消费者群体,Zookeeper,交付语义等。我的课程还提供实践练习,因此您的团队可以使用Apache Kafka获得一些实践经验。

一旦你准备好了,我推荐我更高级的课程,教授 Kafka群集设置和管理。此外,我还提供咨询服务,帮助公司设计,设置和配置 Kafka。

Java编程。虽然客户端库存在使用大多数编程语言(Python,Go,Javascript等)与Kafka交互,但Kafka在使用Java虚拟机类型的语言(如Java或Scala)时效果最佳。因此,在编写集成时,您的团队能够使用Java进行编码非常重要。

Kafka Streams和Kafka Connect。如果您想简化集成,您的团队还需要一些Kafka特定技能,如Kafka Streams和Kafka Connect。这些是您的团队需要的更高级的Kafka概念和框架,以便随着时间的推移建立可靠的生产就绪集成。作为顾问,我通常会展示如何构建一个或两个集成,但是您的团队必须为其余的集成进行扩展。

  • Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据工具。您已经可以在以下网址利用为您编写的大量现有连接器:confluent.io/product/connectors/。我的课程Kafka Connect教您实施和利用这些连接器所需的所有技能。
  • Kafka Streams Library用于在Kafka中处理,聚合和转换您的数据。我的课程Kafka Streams for Data Processing 教授如何在Apache Kafka上使用这个数据处理库,通过几个展示各种可能性的例子。

回答过的其他问题

我的SSL证书手动添加了解析还是通过不了?

帅的惊动我国计算机大神
由于CA机构的反钓鱼机制,一般是域名信息中包含敏感词,例如bank、pay等,会引起安全审查失败,具体敏感词由CA机构定义,同时部分不常用的根域名也可能会审核失败,例如 www.qq.pw www.qcloud.pw 等以.pw 根域名后缀的无法通过审核。 因为域名型SSL证书...... 展开详请

万象优图会对图片进行无损压缩么 ?

远程监控系统需要使用哪种服务器?

帅的惊动我国计算机大神

个人推荐尝试下计算型 C3服务器,

不过现在服务器的基础配置都可以慢慢调整。题主也可以先购买小一些的配置,然后根据自己的业务需要慢慢调整配置是最划算的。,

不知道服务器防御怎么样,比如CC防御、DDOS防御等?

帅的惊动我国计算机大神
CC和DDOS有专业的服务器基础防御, https://console.cloud.tencent.com/dayu/basic 入侵检测还有云镜, https://console.cloud.tencent.com/yunjing 而且服务的基础版都是免费的 [图片] ... 展开详请

云主机centos ext3 转 ext4?

帅的惊动我国计算机大神
首先需要确保 Linux 的发行版是支持 ext4 的,其次要注意 /boot 分区最好使用 ext3,因为现在系统上的 grub 很可能不支持 ext4,需要有这个 commit 的特别版本 grub 才能支持 ext4. 用下面的命令转换:   # cd /; umoun...... 展开详请

点播:如何检测已上传过某个视频,比如md5信息?

帅的惊动我国计算机大神
点播也是上传到COS的 可以看下COS是如何返回MD5参数: 上传较大文件应该使用分块上传 文档在这里: https://cloud.tencent.com/document/product/436/14112 上传一个分块到指定的 UploadId 中,单个大小不得超...... 展开详请

关于作者

所属标签

扫码关注云+社区

领取腾讯云代金券