每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。
这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。
实时报表分析是近年来很多公司采用的报表统计方案之一,其中最主要的应用就是实时大屏展示。利用流式计算实时得出结果直接被推送到前端应用,实时显示出重要指标的变换情况。最典型的案例便是淘宝双十一活动,每年双十一购物节,除疯狂购物外,最引人注目的就是双十一大屏不停跳跃的成交总额。在整个计算链路中包括从天猫交易下单购买到数据采集,数据计算,数据校验,最终落到双十一大屏上展示的全链路时间压缩在5秒以内,顶峰计算性能高达数三十万笔订单/秒,通过多条链路流计算备份确保万无一失。
而在其他行业,企业也在构建自己的实时报表系统,让企业能够依托于自身的业务数据,快速提取出更多的数据价值,从而更好的服务于企业运行过程中。
而这种高性能,高可用的准确的流处理框架就非Flink莫属了。
在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。Apache Flink 是一个开源的分布式,高性能,高可用,准确的流处理框架。支持实时流处理和批处理 。
Flink 就是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的分布式处理框架。
在实际生产过程中,大量的数据不断的产生,例如金融交易数据、互联网订单数据、GPS定位数据、传感器信号、移动终端产生的数据、通信信号数据等,以及我们熟悉的网络流量监控,服务器产生的日志数据,这些数据最大的共同点就是实时从不同的数据源中产生,然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐,复杂事件处理,实施欺诈检测,实时数仓,与ETL类型、流数据分析类型、实时报表类型等实施业务场景,而Flink对于这些类型的场景都有着非常好的支持。
更多Flink相关博文,欢迎关注实时流式计算