首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

大数据实时流式数据处理是大数据应用中最为常见的场景,与我们的生活也息息相关,以手机流量实时统计来说,它总是能够实时的统计出用户的使用的流量,在第一时间通知用户流量的使用情况,并且最为人性化的为用户提供各种优惠的方案,如果采用离线处理,那么等到用户流量超标了才通知用户,这样会使得用户体验满意度降低,这也是这几年大数据实时流处理的进步,淡然还有很多应用场景。因此Spark Streaming应用而生,不过对于实时我们应该准确理解,需要明白的一点是Spark Streaming不是真正的实时处理,更应该成为准实时,因为它有延迟,而真正的实时处理Storm更为适合,最为典型场景的是淘宝双十一大屏幕上盈利额度统计,在一般实时度要求不太严格的情况下,Spark Streaming+Flume+Kafka是大数据准实时数据采集的最为可靠并且也是最常用的方案,大数据实时流式数据采集的流程图如下所示:

02

未来几年,图计算或许是一条很好的赛道

在互联网时代,图数据越来越多地呈现出海量和动态等特性,静态图计算的模型和方法难以应对数据处理的需求。而流式图计算能基于实时变化的数据,流式地构建动态图数据关系,并基于动态变化的图数据之上实时地进行分析、计算和挖掘,是图计算主流技术分支。 InfoQ 作为技术媒体对技术趋势保持着格外的关注,本次我们采访了蚂蚁流式图计算团队负责人潘臻轩。流式图计算是蚂蚁大规模图计算系统 TuGraph 的重要组成部分,可以有效地挖掘数据关系变化的趋势和异动,承担着重要的近线异步图计算等功能。潘臻轩为我们分享了蚂蚁流式图计算的应用经验,以及图计算在未来的发展趋势。

02

9小时交易额1000亿,这些技术在双十一给你下“圈套“,让你不停买买买

为什么页面显示都是自己所心水的东西?为什么现在的快递速度那么快? 9小时的时间,今年双十一仅淘宝天猫的交易额就达到了1000亿。 作为买买买的主力军,先问大家一个问题:购物车里面的东西都清空了吗?是不是还在一边在内心哭着喊着要剁手,一边忍不住的动手一键下单购买呢? 虽然双十一发福利的花样越来越多,令许多人恨不得不参加双十一,但是,很多人还是会时不时地打开淘宝、天猫等购物类APP逛一逛,看到中意的就直接加入购物车……按照淘宝双十一期间逐年提高的交易额来看,相信在接下来的日子里,国内外朋友都会被快递包裹所包围。

00

Spring Cloud Alibaba 系列之 Sentinel 介绍

随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel 具有以下特征:   ♞ 丰富的应用场景:Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。   ♞ 完备的实时监控:Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据,甚至 500 台以下规模的集群的汇总运行情况。   ♞ 广泛的开源生态:Sentinel 提供开箱即用的与其它开源框架/库的整合模块,例如与 Spring Cloud、Dubbo、gRPC 的整合。您只需要引入相应的依赖并进行简单的配置即可快速地接入 Sentinel。   ♞ 完善的 SPI 扩展点:Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。

01
领券