什么是实时流式计算?

实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢? 谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征: 1、无限数据 2、无界数据处理 3、低延迟

无限数据指的是,一种不断增长的,基本上无限的数据集。这些通常被称为“流数据”,而与之相对的是有限的数据集。 无界数据处理,一种持续的数据处理模式,能够通过处理引擎重复的去处理上面的无限数据,是能够突破有限数据处理引擎的瓶颈的。 低延迟,延迟是多少并没有明确的定义。但我们都知道数据的价值将随着时间的流逝降低,时效性将是需要持续解决的问题。

现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。 但是这种模型肯定会带来离线批处理所不存在的两个问题:正确性与时间。 而这也正是实时流式计算的关键点: 1、正确性 一旦正确性有了保证,可以匹敌批处理。 2、时间推导工具 而一旦提供了时间推导的工具,变完全超过了批处理。

总结来说,我们得到的会是一条条的,随着时间流逝不断增长的数据,我们需要进行实时的数据分析,我们要解决大数据量,灾备,时序,时间窗口,性能等等问题。 而实时,流式其实是相对的概念,现在的很多技术更应该说是近实时,微批。但只要能不断的优化这些问题,实时流式的计算的价值就会越来越大。

由于大数据兴起之初,Hadoop并没有给出实时计算解决方案,随后Storm,SparkStreaming,Flink等实时计算框架应运而生,而Kafka,ES的兴起使得实时计算领域的技术越来越完善,而随着物联网,机器学习等技术的推广,实时流式计算将在这些领域得到充分的应用。 下面简单介绍目前常用的几种应用场景,未来将对Kafka,Storm,SparkStreaming,Flink等相关技术做具体介绍。

主要应用

1、日志分析 比如对网站的用户访问日志进行实时的分析,计算访问量,用户画像,留存率等等,实时的进行数据分析,帮助企业进行决策。

2、物联网 比如对电力系统进行实时的数据检测,进行报警,实时的显示,或者根据历史数据进行实时的分析,预测。

3、车联网 如今的车联网已经不限于物联网,还包括对用户,交通等等进行分析的一个庞大的系统,改善用户出行。

4、金融风控 通过对交易等金融行为实时分析,预测出未知风险。

还有很多应用的领域,而且未来会越来越多,在这个过程中具体的业务,以及与技术结合能产生什么样的价值,还需要不断的探索。

《the-world-beyond-batch-streaming-101》地址: https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小詹同学

十九种损失函数,你能认识几个?

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

8510
来自专栏相约机器人

Reddit热议:为什么PyTorch比TensorFlow更快?

近日,Reddit 上有一个热帖:为什么 PyTorch 和 TensorFlow 一样快 (有时甚至比 TensorFlow 更快)?

10820
来自专栏小小挖掘机

十九种损失函数,你能认识几个?

当训练有 C 个类别的分类问题时很有效. 可选参数 weight 必须是一个1维 Tensor, 权重将被分配给各个类别. 对于不平衡的训练集非常有效。

19020
来自专栏算法channel

十九种损失函数,你认识几个?

链接:https://blog.csdn.net/shanglianlm/article/details/85019768

29540
来自专栏中科院渣渣博肆僧一枚

resnet_v1.resnet_v1()

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。

18030
来自专栏新智元

Reddit热议:为什么PyTorch比TensorFlow更快?

近日,Reddit 上有一个热帖:为什么 PyTorch 和 TensorFlow 一样快 (有时甚至比 TensorFlow 更快)?

17130
来自专栏小勇DW3

Kafka性能调优分析-线上环境篇

  在平时的开发中,使用kafka来发送数据已经非常熟悉,但是在使用的过程中,其实并没有比较深入的探索kafka使用过程中

29740
来自专栏深度学习自然语言处理

十九种损失函数,你能认识几个?

链接:https://blog.csdn.net/shanglianlm/article/details/85019768

16920
来自专栏Java编程技术

高性能线程间消息传递库Disruptor概述

Disruptor是一个高性能的线程间消息传递库。它源于LMAX对并发性 、性能和非阻塞算法的研究,如今构成了其Exchange基础架构的核心部分。

11120
来自专栏算法猿的成长

你有哪些deep learning(rnn、cnn)调参的经验?

深度学习中调参其实是一个比较重要的技巧,但很多时候都需要多尝试多积累经验,因此算法工程师也被调侃为调参工程师。

13820

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励