腾讯云SCS,让流计算从“零件”到“服务”

流计算的前世今生

在大数据时代的初期,我们面临的数据主要是大容量的静态数据集,针对离线和大规模数据分析设计的Hadoop依靠HDFS和Mapreduce可以灵活、高效的处理这种数据形态。然而,随着大数据时代的演进,具有实时持续到达、到达次序独立且高度无序等特征的流式数据在当前商业环境中变得越来越常见,人们迫切的想对这种流式数据进行实时分析并进而转化成商业价值,于是推动了大数据技术的演进。

在大数据技术从批处理走向流处理的过程中,主要产生了storm、spark streaming、Flink等成熟的框架。Storm是仅支持流处理的框架,其核心概念是将Spouts和Bolts连接在一起形成拓扑结构(Topology),然后将用户提交的应用程序逻辑在Topology中指定。

然而,传统的Storm(非Trident)只能提供at least once语义,而如果通过Trident 实现了exactly once语义,则会以牺牲时延为代价,因此storm的两种方案都是局部最优,而非全局最优。

Spark Streaming是针对批量数据处理设计的混合框架,其流处理功能是通过将流处理作业分解为一系列微批处理作业来实现的,而负责进行处理的引擎其实还是Spark。

Spark Streaming相比于Storm能提供更稳定的exactly once语义,但由于其核心概念是微批处理,因此其优势在于高吞吐量而非时延,其时延与Storm、Flink相比较高。

Flink是针对流式数据处理设计的混合框架,可以通过把批量数据看成有界的流式数据来实现批处理,其核心概念是将Flink上运行的程序映射为streaming dataflows,应用程序逻辑通过streaming dataflow内的多个transformation operator实现。

由于Flink对流式数据处理的针对性设计,只需要很少配置就能实现高吞吐与低延迟。Flink支持exactly once语义,并且其checkpoint机制保证了即使在发生故障的情况下也能保障exactly once语义。

云上的流计算服务SCS:从零件到服务

在当今瞬息万变的商业赛道上,早一步出发便意味着可以更早接触到商业机会、更早占据市场份额,进而野蛮生长。然而如果选择基于开源框架的“零件”形态的流计算,便意味着无论是基础设施建设还是日常运维,亦或是安全保障,这些与成本和风险息息相关的模块都需要自己来维护,从而分散了聚焦于业务的精力,又何谈把握转瞬即逝的商业机会?

于是,与商业场景的低适配推动着流计算走向了云端。为了让用户可以以低成本获取到无尽的流计算分析能力,云厂商将云端近乎无限的计算、存储、技术等资源整合,把流计算在云端以服务的形式进行技术革新,形成了云上的流计算服务。

腾讯云流计算SCS是腾讯基于在社交、视频、游戏等海量业务场景积累的经验,为了帮助云端用户达成降本增效的目的,通过深度整合深耕互联网科技领域近20年积累的基础设施,以PaaS服务的形式提供的云端流计算服务。

腾讯云流计算SCS服务将提供:

流计算SCS助力工业智能制造

SCS将从五个智能化发力,全面助力工业智能制造:

基于SCS实时进行数据分析,实现产品实时定位、产品实时管理,助力产品智能化。

基于SCS跟踪生产线进度,实时监控生产线压力,实现智能调度,助力生产智能化。

基于SCS实现预防性维护,从而避免高成本的设备故障风险,助力装备智能化。

基于SCS实时过滤无效信息,准确识别用户需求,进行自动化个性定制产品生产,助力服务智能化。

基于SCS通过设备IOT组件采集信息并进行多维度、多指标实时分析,助力管理智能化。

从传统制造到智能制造转型的进程中,SCS将火力全开。

流计算的未来

虽然流计算与IOT相关场景契合度极高,但流计算在互联网、电商、金融等行业同样拥有着广阔的应用场景如点击流分析、金融风控、实时推荐等。

未来的流计算,将与AI深度结合,从流计算走向流AI,成为人工智能时代的基础设施。流计算将流淌在整个社会的每一个角落,并不断为我们带来富有价值的洞见!

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

梦想与前行——一名数据人的自白

前段时间看微博话题讨论有些迷茫,有些已经被同行确认无疑的观点竟被反复强调,比如”数据挖掘/分析要懂业务”、”产品是数据价值变现的一条有效渠道”,...

27750
来自专栏数据猿

投稿 | 互联网数据化运营管理-流量篇

互联网的商业模式千变万化,但其盈利模式目前大抵可以分为以下三种:一是向用户出售商品或服务,其中电商和o2o就属这种模式;二是靠广告来进行盈利,典型的例如goog...

27750
来自专栏Albert陈凯

大数据方向的十个岗位

随着大数据的趋势引起的越来越多的重视,各大企业对与大数据相关高端人才的需求也越来越紧迫。这一趋势,也给想要从事大数据方面工作的人员提供了难得的职业发展机遇。 ...

37560
来自专栏量子位

网易依然要以慢打快,AI商业化AR是重要方向

11430
来自专栏CDA数据分析师

数据科学职业生涯路径:如何在数据分析工作中找准自己的角色和定位?

? 写在前面 全世界,企业每天都在创造更多的数据,迄今为止大多数都在努力从中受益。根据麦肯锡的说法,仅美国就将面临150,000多名数据分析师的短缺另加150...

42980
来自专栏钱塘大数据

【推荐阅读】大数据技术的最新进展和潜在应用

导读:日前,在2016中国大数据技术大会首日全体会议中,星环科技董事长&CTO孙元浩分享了主题为《大数据技术的最新进展和潜在应用》的演讲。大数据技术的软件栈分为...

439110
来自专栏数据科学与人工智能

六个步骤:助你最大化大数据的商业价值

上个月公布的一项调查结果显示,由Apache基金会所开发的分布式系统基础架构Hadoop可能即将面临着来自资金链方面的压力与挑战。具体而言,调查中的绝大多数受访...

21960
来自专栏孟永辉

“内容+用户”生态体系或是内容变现最好方式

549110
来自专栏数据的力量

独家资料分享《知识管理快速入门》

我第一次接触知识管理的概念,是在田志刚老师(中国知识管理研究第一人)的培训中,从此关注如何提升个人的知识管理水平。经过五、六年的实践,逐渐形成一套符合...

16510
来自专栏华章科技

Hadoop没有消亡,它是大数据的未来

有人认为 Hadoop 正在失败,但硅谷数据管理公司 Hortonworks 的总经理 Vamsi K. Chemitiganti 并不这么看,为了反驳此前一篇...

10730

扫码关注云+社区

领取腾讯云代金券