专栏首页实时计算什么是实时流式计算?

什么是实时流式计算?

实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢? 谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征: 1、无限数据 2、无界数据处理 3、低延迟

无限数据指的是,一种不断增长的,基本上无限的数据集。这些通常被称为“流数据”,而与之相对的是有限的数据集。 无界数据处理,一种持续的数据处理模式,能够通过处理引擎重复的去处理上面的无限数据,是能够突破有限数据处理引擎的瓶颈的。 低延迟,延迟是多少并没有明确的定义。但我们都知道数据的价值将随着时间的流逝降低,时效性将是需要持续解决的问题。

现在大数据应用比较火爆的领域,比如推荐系统在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需要,我们需要更快的完成对数据的处理,而不是进行离线的批处理。 但是这种模型肯定会带来离线批处理所不存在的两个问题:正确性与时间。 而这也正是实时流式计算的关键点: 1、正确性 一旦正确性有了保证,可以匹敌批处理。 2、时间推导工具 而一旦提供了时间推导的工具,变完全超过了批处理。

总结来说,我们得到的会是一条条的,随着时间流逝不断增长的数据,我们需要进行实时的数据分析,我们要解决大数据量,灾备,时序,时间窗口,性能等等问题。 而实时,流式其实是相对的概念,现在的很多技术更应该说是近实时,微批。但只要能不断的优化这些问题,实时流式的计算的价值就会越来越大。

由于大数据兴起之初,Hadoop并没有给出实时计算解决方案,随后Storm,SparkStreaming,Flink等实时计算框架应运而生,而Kafka,ES的兴起使得实时计算领域的技术越来越完善,而随着物联网,机器学习等技术的推广,实时流式计算将在这些领域得到充分的应用。 下面简单介绍目前常用的几种应用场景,未来将对Kafka,Storm,SparkStreaming,Flink等相关技术做具体介绍。

主要应用

1、日志分析 比如对网站的用户访问日志进行实时的分析,计算访问量,用户画像,留存率等等,实时的进行数据分析,帮助企业进行决策。

2、物联网 比如对电力系统进行实时的数据检测,进行报警,实时的显示,或者根据历史数据进行实时的分析,预测。

3、车联网 如今的车联网已经不限于物联网,还包括对用户,交通等等进行分析的一个庞大的系统,改善用户出行。

4、金融风控 通过对交易等金融行为实时分析,预测出未知风险。

还有很多应用的领域,而且未来会越来越多,在这个过程中具体的业务,以及与技术结合能产生什么样的价值,还需要不断的探索。

《the-world-beyond-batch-streaming-101》地址: https://www.oreilly.com/ideas/the-world-beyond-batch-streaming-101

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 不仅仅是双11大屏—Flink应用场景介绍

    实时报表分析是近年来很多公司采用的报表统计方案之一,其中最主要的应用就是实时大屏展示。利用流式计算实时得出结果直接被推送到前端应用,实时显示出重要指标的变换情况...

    实时计算
  • 聊聊流计算系统中的核心问题:状态管理

    状态管理是流计算系统的核心问题之一。在实现流数据的关联操作时,流计算系统需要先将窗口内的数据临时保存起来,然后在窗口结束时,再对窗口内的数据做关联计算。在实现时...

    实时计算
  • 什么是流处理

    流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴,它正在成为一种提供数据处理(包括批处理),实时应用乃至分布式事务的新方法的技术。

    实时计算
  • 什么是实时流式计算?

    实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。

    用户6070864
  • 滴滴处理海量数据的秘诀是什么?

    摘要 本次演讲主要是和大家分享一下实时计算在滴滴的应用场景和一些实践。 ? 滴滴大数据体系 ? 滴滴大数据体系的主要特点在于数据都是实时的,数据采集可以...

    IT大咖说
  • 揭秘腾讯大数据之平台综述篇

    4月12日,在腾讯分享日的大数据分论坛上,腾讯首次对外展现了自己的大数据平台,受到外界的普遍关注,后续,我们将持续为大家分享腾讯大数据的方方面面。...

    腾讯大数据
  • 抗击新冠肺炎,如何进行实时动态时序图谱建模与分析?

    新冠肺炎是一种具有最长达24天潜伏期的新型突发性传染疾病,这种特性给疫情防控带来了巨大的挑战,随着感染规模的不断扩增,简单的人为治理已不太奏效,使用“大数据”技...

    AI科技大本营
  • CentOS 8 如何安装 htop

    HoneyMoose
  • 从Storm到Flink,有赞五年实时计算效率提升实践

    AI 前线导读:有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个...

    Fayson
  • SAP S/4 HANA后勤业务创新

    一、业务实时响应 实时库存管理 ? •实时库存处理过程与可视化 •能够获得更小/更短的库存管理颗粒度 •降低了库存水平/安全库存水平 •各种灵活与实时的库存多维...

    SAP最佳业务实践

扫码关注云+社区

领取腾讯云代金券