首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

大话测试数据(二):概念测试数据的获取

在大话测试数据(一)文章中,我提到,获取数据的第一步是获取概念上数据。这一步看起来简单,其实不是那么容易。获取概念数据和获取需求的过程是交织在一起的,事实上,它们其实是一个事儿,因为数据是需求中最重要的组成部分。 需求工程是个大话题,目前有很多种流派和实践方式来来搞定需求,但它们的思想都比较一致,那就是:不断的由粗到精的迭代(如下图)。关于需求这里不再展开,如果大家有兴趣的话,推荐两本我觉得还不错的书:德国人写的《需求工程,基础原理和技术》和国人写的《软件需求最佳实践》,大家读后结合工作实践会很有收获。

03

06 Confluent_Kafka权威指南 第六章:数据传输的可靠性

可靠的数据传输是系统的属性之一,不能在事后考虑,就像性能一样,它必须从最初的白板图设计成一个系统,你不能事后把系统抛在一边。更重要的是,可靠性是系统的属性,而不是单个组件的属性,因此即使在讨论apache kafka的可靠性保证时,也需要考虑其各种场景。当谈到可靠性的时候,与kafka集成的系统和kafka本身一样重要。因为可靠性是一个系统问题,它不仅仅是一个人的责任。每个卡夫卡的管理员、linux系统管理员、网络和存储管理员以及应用程序开发人员必须共同来构建一个可靠的系统。 Apache kafka的数据传输可靠性非常灵活。我们知道kafka有很多用例,从跟踪网站点击到信用卡支付。一些用例要求最高的可靠性,而另外一些用例优先考虑四度和简单性而不是可靠性。kafka被设计成足够可配置,它的客户端API足够灵活,允许各种可靠性的权衡。 由于它的灵活性,在使用kafka时也容易意外地出现错误。相信你的系统是可靠的,但是实际上它不可靠。在本章中,我们将讨论不同类型的可靠性以及它们在apache kafka上下文中的含义开始。然后我们将讨论kafka的复制机制,以及它如何有助于系统的可靠性。然后我们将讨论kafka的broker和topic,以及如何针对不同的用例配置它们。然后我们将讨论客户,生产者、消费者以及如何在不同的可靠性场景中使用它们。最后,我们将讨论验证系统可靠性的主体,因为仅仅相信一个系统的可靠是不够的,必须彻底的测试这个假设。

02

分布式系统的弹性设计

在讨论分布式系统的弹性之前,让我们快速回顾一些基本术语: 弹性Resiliency:任何系统从困难中恢复的能力,(banq注:弹性也就是适应能力)。 分布式系统:一些网络组件通过传递消息来完成一个共同目标。 可用性:任何系统在任何时间点保持正常运行的可能性。 故障与故障:故障Fault是您的系统中是不正确的内部状态。系统中一些常见的故障例子包括: 1.存储层缓慢 2.应用程序中的内存泄露 3.被阻塞的线程 4.依赖性故障 5.在系统中传播坏数据(通常是因为输入数据没有足够的验证) 失败Failure是系统无法执行其预期工作。 失败意味着系统正常运行时间和可用性的损失。故障如果不被封装,会导致在系统中传播,从而导致失败。 当故障Fault转为失败Failure时就意味着系统发生了故障: 弹性就是为了防止故障Fault转化为失败Failure 我们为什么关心系统的弹性? 系统的弹性与其正常运行时间和可用性成正比。系统越有弹性,服务用户的可用性越高。 如果不具有弹性能力,可能会以多种方式影响公司各个方面。 分布式系统的弹性设计很难 我们都明白'可用'至关重要。为了保证可用性,我们需要从零开始建立弹性,以便我们系统中的故障自动恢复。 但是在具有多个分布式系统的复杂微服务架构中建立弹性是很困难的。这些困难是: 1.网络不可靠 2.依赖性总是失败 3.用户行为是不可预测的 虽然构建弹性很难,但并非不可能。遵循一些构建分布式系统的模式可以帮助我们在整个服务中实现较高的正常运行时间。我们将讨论未来的一些模式: 模式[0] = nocode

04
领券