大数据分析处理平台的调度应该具备什么能力?

‍‍‍‍本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用,达到一个什么样的能力。

谈调度之前,先说说大数据分析处理平台的定义‍‍:集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统,它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一‍‍般来说,大数据分析处理平台有以下几个显著特点:

‍‍1、规模大,集群化。百度,腾讯,阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。

‍‍2、复杂度高,多个子系统异构。现在很难有一种技术能把所有‍‍问题搞定,所以通常是多个子系统混合一起通力合作。‍‍

‍‍3、系统负载高,压力大,从腾讯公布的数据来看,每天完成上百万个任务的执行。‍‍

‍‍4、可靠性要求高,容易维护。‍‍

那么调度在整个大数据‍‍分析处理平台中起到什么作用?我觉得一个智能、高效的调度应该达到以下几个层面的能力:‍‍

‍‍‍‍1、首先是从资源角度,整个系统中要做到高效,就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理,高效的分配和调度。业界现在最常见的是MESOS,YARN‍‍,‍‍腾讯基于YARN的基础上改造了GAIA,谷歌公布了他的第三代调度Omega,关于资源管理可以看我前面的文章《资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析》。‍‍‍‍

‍‍2、从系统整合角度,整个系统一定是异构的系统,所以调度要支持异构,能整合异构系统来一起完成整个数据的计算,流转,存储以及提供服务。‍‍

‍‍3、从业务角度来看,系统一定的可扩展的,业务可快速定制的,所以调度本身能结合业务进行定制,支持任务的编排,任务的各个子系统的快速迁移。‍‍

‍‍4、从调度本身能力来看,调度本身应该是一个智能的调度,具有自学习,自我调优的能力,一个智能的调度系统才适合业务的不停变化。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏软件测试经验与教训

如何设定性能测试的目标?

3596
来自专栏云计算D1net

将PB级数据传输到云端的四个步骤

如今,各种组织正在越来越多地使用公共云基础设施,但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂,更具破坏性,并且不具备灵活性。 ? 云存储的商业价...

3247
来自专栏PPV课数据科学社区

大数据分析需要把hbase、mysql等数据导入hive吗?

看做什么,如果不需要对数据进行实时处理,那么大部分情况下都需要把数据从hbase/mysql(数据库)“导入”到hive(数据仓库)中进行分析。“导入”的过程中...

3505
来自专栏云计算D1net

评估公共云存储提供商的四个标准

在选择公共云服务提供商之前,企业必须了解每个供应商提供的服务,以及他们的服务如何最好地满足自己的需求。 将企业业务转向公共云是组织架构的重大转变,它提供了许多计...

3025
来自专栏数据和云

【演讲实录】银行PB级别海量非结构化数据管理实践

近期,巨杉数据库的技术总监郝大为受邀在第七届数据技术嘉年华中做了“银行PB级别海量非结构化数据管理实践”为主题的演讲,分享了巨杉数据库有关金融行业数据库管理以...

3616
来自专栏挖掘大数据

详解10个最热门的大数据技术

随着大数据分析市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热门的十个大数据技术。

20010
来自专栏Python中文社区

【腾讯云技术沙龙预告】云端数据库的设计之美

以数据为中心的信息化社会,数据库可以看做是所有应用程序成功运行的核心。而结合云计算,数据库的高可用性能够被放大到极致,可以实现按需付费、按需扩展、高可用性以及存...

1354
来自专栏互联网数据官iCDO

什么是Data Onboarding(数据打通),为什么这对营销人员很重要?

译者:梅子,iCDO翻译志愿者 审校:Rona,iCDO翻译志愿者 前言:今天管理咨询公司Winterberry将为我们引入Data Onboarding的概念...

3495
来自专栏CSDN技术头条

解析大数据基准测试——TPC-H or TPC-DS

基于业内对大数据技术的需求,各种基于开源技术的商业产品得到了长足的发展。然而对于用户来说,如何才能客观地比较不同的数据管理系统,基准测试的研究也被提了出来。本文...

1968
来自专栏PPV课数据科学社区

2014年大数据和预测分析市场值得关注的趋势

企业高层管理人员一直希望能够从其IT部门收集的客户数据中获得可操作的洞察力。很多人已经有些等得不耐烦,他们现在就像看到结果。 Ovum公司预...

2564

扫码关注云+社区