首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Kafka-11.设计-日志压缩

日志压缩可以保证Kafka总是最少保留单个主题分区的数据日志中的每个消息的key的最后的已知值。(Log compaction ensures that Kafka will always retain at least the last known value for each message key within the log of data for a single topic partition. )它address了用例和处理方案,例如应用程序崩溃或者系统故障后的状态恢复,或在运行维护期间重启应用后如何加载缓存。让我们更详细的介绍这些情况,然后描述是如何压缩的: 到目前为止,我们仅描述了简单一些的数据保留方法,其中旧的日志数据在固定时间段或者当日志达到某个预定大小时被丢弃。这适用于时间事件数据,例如记录独立的日志记录。但是,一类重要的数据流是keyed更改的日志(例如,对数据库表的更改)。

04

06 Confluent_Kafka权威指南 第六章:数据传输的可靠性

可靠的数据传输是系统的属性之一,不能在事后考虑,就像性能一样,它必须从最初的白板图设计成一个系统,你不能事后把系统抛在一边。更重要的是,可靠性是系统的属性,而不是单个组件的属性,因此即使在讨论apache kafka的可靠性保证时,也需要考虑其各种场景。当谈到可靠性的时候,与kafka集成的系统和kafka本身一样重要。因为可靠性是一个系统问题,它不仅仅是一个人的责任。每个卡夫卡的管理员、linux系统管理员、网络和存储管理员以及应用程序开发人员必须共同来构建一个可靠的系统。 Apache kafka的数据传输可靠性非常灵活。我们知道kafka有很多用例,从跟踪网站点击到信用卡支付。一些用例要求最高的可靠性,而另外一些用例优先考虑四度和简单性而不是可靠性。kafka被设计成足够可配置,它的客户端API足够灵活,允许各种可靠性的权衡。 由于它的灵活性,在使用kafka时也容易意外地出现错误。相信你的系统是可靠的,但是实际上它不可靠。在本章中,我们将讨论不同类型的可靠性以及它们在apache kafka上下文中的含义开始。然后我们将讨论kafka的复制机制,以及它如何有助于系统的可靠性。然后我们将讨论kafka的broker和topic,以及如何针对不同的用例配置它们。然后我们将讨论客户,生产者、消费者以及如何在不同的可靠性场景中使用它们。最后,我们将讨论验证系统可靠性的主体,因为仅仅相信一个系统的可靠是不够的,必须彻底的测试这个假设。

02

利用Kotlin的协程实现简单的异步加载详解

众所周知在android中当执行程序的耗时超过5秒时就会引发ANR而导致程序崩溃。由于UI的更新操作是在UI主线程进行的,理想状态下每秒展示60帧时人眼感受不到卡顿,1000ms/60帧,即每帧绘制时间不应超过16.67ms。如果某项操作的耗时超过这一数值就会导致UI卡顿。因此在实际的开发中我通常把耗时操作放在一个新的线程中(比如从网络获取数据,从SD卡读取图片等操作),但是呢在android中UI的更新只能在UI主线程中进行更新,因此当我们在非UI线程中执行某些操作的时候想要更新UI就需要与UI主线程进行通信。在android中google为我们提供了AsyncTask和Handler等工具来便捷的实现线程间的通信。有许多的第三方库也为我们实现了这一功能,比如现在非常流行的RxJava库。在本篇文章中呢我想给大家分享的是使用Kotlin的Coroutine(协程)来实现耗时操作的异步加载,现在有RxJava这么屌的库我们为什么还要了解这个呢?Kotlin如今已是android的官方开发语言了解他里边的异步相关的操作是很有必要的。本文只讲解Coroutine的基本使用方法,并不作深入底层的研究,我将以一个加载图片的例子来向您展示Coroutine的基本使用方法。

02
领券