实时处理、批处理与流处理技术解析

实时处理 vs. 批处理 vs. 流处理

随着创新速度的持续加快，开发人员需要在任意给定时间段内分析太字节甚至拍字节的数据。这当然带来了诸多优势。但如何处置所有这些数据？要找到加速这些技术的最佳方法可能很困难，特别是在需要快速反应的场景下。

对于数字化优先的企业而言，如何最优地使用实时处理、批处理和流处理已成为日益重要的问题。本文将解释这些数据处理类型的基本差异。

实时数据处理与操作系统

实时操作系统通常指对数据的反应。如果一个系统能够保证在严格的现实截止时间内（通常为几秒或几毫秒）完成反应，则可归类为实时系统。股票市场使用的系统就是实时系统的最佳范例之一。如果股票报价应在下单后10毫秒内从网络传来，这将被视为实时过程。无论这是通过利用流处理的软件架构实现，还是仅通过硬件处理实现，都无关紧要；严格截止时间的保证才是使其成为实时的关键。

实时操作系统的挑战

虽然这类系统听起来具有颠覆性，但现实是通过常见软件系统实现实时系统极为困难。由于这些系统控制了程序执行，它们带来了全新层次的抽象。这意味着程序的控制流与源代码之间的区别不再明显，因为实时系统选择在那一刻执行哪个任务。这有其益处，因为通过更高抽象可以提高生产力，并使设计复杂系统更容易，但也意味着整体控制力减弱，这可能使调试和验证变得困难。

实时操作系统的另一个常见挑战是任务并非孤立实体。系统决定调度哪些任务，并先发送高优先级任务，然后再处理低优先级任务，从而延迟后者的执行，直到所有高优先级任务完成。越来越多的软件系统开始采用一种实时处理的变体，其中截止时间不再是绝对要求，而是概率性的。这种称为软实时系统，通常或一般能够满足截止时间，但如果错过太多截止时间，性能将开始下降。

实时处理应用场景

当您持续输入和处理数据，并处理稳定的数据输出流时，就需要实时处理。以下是一些需要实时处理的实际场景：

• 自动柜员机(ATMs)：为提升客户体验、增强后台效率和分析能力，并减少欺诈，银行正在采用实时处理。处理ATM交易、立即将交易过账到账户，并实时调整余额，需要安全高效的用户凭证验证、账户余额检查和现场交易授权。
• 空中交通管制：在拥挤空域安全管理和移动飞机需要使用来自多个来源的数据，如雷达、卫星图像、传感器网络和飞机通信。人工智能等先进技术需要实时数据，以提供最新态势感知、潜在冲突的提前预警，以及优化飞行路径和管理空域的能力。理想情况是能够预测主动决策，避免碰撞并最小化拥堵。
• 防抱死制动系统(ABS)：自动化和优化制动的车辆安全优势需要实时数据。关于轮胎与路面状况的信息必须即时传达。一旦检测到车轮打滑，系统就会调节动态制动力。直道、弯道和角度的速度，以及对路面和潮湿、结冰、油污等条件的敏感性，都是系统必须立即检测、分析和响应的数据点，以防止车轮锁死、保持车辆控制，并在紧急制动情况下缩短制动距离。

批处理

批处理是一次性处理大量数据。数据很容易包含一天内的数百万条记录，并可以多种方式（文件、记录等）存储。作业通常以不间断的顺序同时完成。批处理数据作业的一个典型例子是金融机构可能在一周内提交的所有交易。

批处理数据处理是处理随时间收集的大量数据的极其高效的方式。它还有助于减少企业可能在劳动力上花费的运营成本，因为它不需要专业的数据录入文员来支持其运行。它可以离线使用，并让管理人员完全控制何时开始处理，无论是在夜间、周末还是薪酬周期结束时。

使用批处理的挑战

与任何事物一样，使用批处理软件也有一些缺点。企业面临的最大问题之一是调试这些系统可能很棘手。如果您没有专门的IT团队或专业人员，在发生错误时尝试修复系统可能会带来损害，导致需要外部顾问协助。

批处理的另一个问题是公司通常为了省钱而实施它，但软件和培训在初期需要相当多的费用。管理人员需要接受培训以理解：

• 如何调度批处理
• 什么触发它们
• 某些通知的含义

批处理数据应用场景

对于时间敏感性较低的工作，批处理可能是一个高效的选择。当处理可能需要数小时甚至数天时间无关紧要时，您不需要实时或近实时选项。

• 日终报告：金融机构通常运行日终报告，包括银行分类账数据，如起始余额、存款、取款和转账，最终得出业务日的结束余额。该报告通过标记错误来支持准确性，并确保系统完整性。它帮助管理人员提高和维护运营效率，并提供法律要求的审计追踪。活动全天发生，但报告的处理和分析在银行日结束后一次性完成。
• 数据仓库：数据仓库中的数据通常通过定期和常规的提取、转换和加载(ETL)批处理过程进行管理。定期更新是处理大量数据的有效方式，同时确保数据仓库为分析目的保持最新信息。
• 薪酬处理：公司薪酬通常按固定节奏进行，通常是每两周或每月一次。使用批处理可以简化和加速收集考勤数据、计算工资、税款和其他扣除项，然后生成工资单的工作。

流处理

流处理是能够几乎即时分析从一个设备流到另一个设备的数据的过程。这种连续计算方法在数据流经系统时发生，对输出没有强制性的时间限制。由于几乎即时的流动，系统不需要存储大量数据。

如果您希望跟踪的事件频繁发生且在时间上接近，流数据处理非常有益。如果事件需要立即检测并快速响应，最好使用它。因此，流处理对于欺诈检测和网络安全等任务很有用。如果交易数据经过流处理，欺诈性交易甚至可以在完成之前就被识别和停止。

数据流处理过程

以下细节说明数据流处理的工作原理：

• 事件驱动：当相关事件发生时，事件触发一个函数。这可能是点击网站上的链接，或者对于物联网设备，智能照明系统可以感知日落和房间变暗。
• 数据流：数据在到达时即被处理，以支持不间断的工作流。示例包括网约车应用、股票交易平台和多人游戏。
• 时间戳：当处理时间序列数据（如日志、交易流和任务流）时，此过程很有帮助。
• 连续和异构：当处理来自多个来源的不同格式的多种数据时很有帮助，这些数据是连续的，意味着它们在某个范围内（如时间）变化。室外温度和风速就是例子。

数据流特性

• 低延迟：虽然不是零，但处理时间以秒甚至毫秒衡量。
• 可扩展性：该过程支持处理数据量的意外和快速增长。
• 容错性：该方法要求高正常运行时间，数据丢失风险最小甚至为零。
• 状态管理：在跟踪、存储和处理数据时，进行会话跟踪、窗口化和时间窗口内事件计数。
• 分布式处理：该方法确保工作负载由多个节点处理，以提供容错性和可扩展性。
• 与其他系统集成：能够与其他平台（包括其他数据库、消息队列和分析工具）连接和交换数据。

流处理的挑战

组织在流处理中面临的最大挑战之一是系统的长期数据输出速率必须与长期数据输入速率一样快或更快，否则系统将开始出现存储和内存问题。

另一个挑战是试图找出应对正在生成和移动的海量数据的最佳方法。为了保持数据流经系统在最高水平运行，组织有必要制定计划，以减少副本数量、定位计算内核，以及以最佳方式利用缓存层次结构。

流处理应用场景

流处理在几个核心功能中很有帮助：

• 欺诈检测：实时跟踪和监控交易，标记可疑的活动和事件。通过快速识别潜在欺诈，您可以采取措施验证交易或可能识别欺诈者或其更广泛的网络犯罪利用。
• 网络监控：检测网络流量中的异常至关重要，这可能表明故障或恶意行为。持续监控可以快速检测和处理问题。
• 预测性维护：实时监控设备和系统可以早期发现问题，而不是等待可能导致昂贵停机的故障。这使得维护更高效，运营更具成本效益。
• 入侵检测：监控网络安全使得能够实时识别未经授权的访问。快速响应可以限制造成的损害，拥有数据有助于组织遵守法规。您还将更好地了解犯罪分子使用的策略、技术和程序，以开发更好的未来保护。

结论

虽然所有这些系统都有优势，但最终组织应考虑每种方法的潜在好处，以决定哪种方法最适合具体用例。