大数据分析处理平台的调度应该具备什么能力?

‍‍‍‍本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用,达到一个什么样的能力。

谈调度之前,先说说大数据分析处理平台的定义‍‍:集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统,它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一‍‍般来说,大数据分析处理平台有以下几个显著特点:

‍‍1、规模大,集群化。百度,腾讯,阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。

‍‍2、复杂度高,多个子系统异构。现在很难有一种技术能把所有‍‍问题搞定,所以通常是多个子系统混合一起通力合作。‍‍

‍‍3、系统负载高,压力大,从腾讯公布的数据来看,每天完成上百万个任务的执行。‍‍

‍‍4、可靠性要求高,容易维护。‍‍

那么调度在整个大数据‍‍分析处理平台中起到什么作用?我觉得一个智能、高效的调度应该达到以下几个层面的能力:‍‍

‍‍‍‍1、首先是从资源角度,整个系统中要做到高效,就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理,高效的分配和调度。业界现在最常见的是MESOS,YARN‍‍,‍‍腾讯基于YARN的基础上改造了GAIA,谷歌公布了他的第三代调度Omega,关于资源管理可以看我前面的文章《资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析》。‍‍‍‍

‍‍2、从系统整合角度,整个系统一定是异构的系统,所以调度要支持异构,能整合异构系统来一起完成整个数据的计算,流转,存储以及提供服务。‍‍

‍‍3、从业务角度来看,系统一定的可扩展的,业务可快速定制的,所以调度本身能结合业务进行定制,支持任务的编排,任务的各个子系统的快速迁移。‍‍

‍‍4、从调度本身能力来看,调度本身应该是一个智能的调度,具有自学习,自我调优的能力,一个智能的调度系统才适合业务的不停变化。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java一日一条

微服务和容器对企业带来什么样的影响?

IT经理、架构师和开发者都尝试妥协于微服务和容器对企业IT方式的改变。在某一个层面来说这是一件好事,但是事实上,一些更深层次的东西在驱动着技术和IT。

493
来自专栏CSDN技术头条

十一问MongoDB CTO,谈NoSQL人气王的扩展、事务及运维

【编者按】在“MongoDB成为首位10亿美元初创”一文中,我们曾介绍过这个千禧年的宠儿——NoSQL领域的人气王,只通过6年时间就将公司市值发展到12亿美元,...

18210
来自专栏云计算D1net

云端创新如何改变灾难恢复

云端配置中的灾难恢复消除了拥有和管理专门用于灾难恢复的整个设施的成本和复杂性,并为备用系统和软件提供了更加客户友好的运营支出模型。 如今,许多企业的CIO正在考...

3178
来自专栏腾讯研究院的专栏

再谈Docker,微服务的场景化应用

刘永峰  腾讯云高级产品经理   看过《超能陆战队》的朋友可能仍然对于电影中的男主角介绍和演示自己发明的微型机器人的场景记忆犹新。   “它”看起来只是...

3877
来自专栏鹅厂网事

变更管理点滴分享

互联网企业的变化节奏太快,流程和工作效率都需要兼顾,对变更活动潜在的风险无形中会放大,导致故障几率会成倍增长。

19810
来自专栏逸鹏说道

解析微服务架构(二):融入微服务的企业集成架构

上一篇文章介绍了微服务架构的起源、定义、通用特性、常见概念误区、微服务架构与SOA架构比较、微服务架构收益以及企业引入微服务架构的策略。 本文将介绍融入微服务的...

2486
来自专栏高剑林的专栏

认识多种处理芯片的特性和实战(上篇)

CPU已经占有了桌面和服务器处理器的绝大部分份额,而且这个趋势还在不断增强,但是在某些领域,CPU存在天然的缺陷,以FPGA、GPU为代表的硬件可以克服CPU的...

8131
来自专栏云计算D1net

闲话虚拟化和云计算的异同点

经常有人讨论这两者的区别,在这个行业时间长,听到的也自然很多,这里做一个总结。下面的观点,我想没有对和错,只是理解不同。 所谓虚拟化,虚拟机,vps,其实是差不...

3254
来自专栏idba

【招聘信息】杭州51信用卡招聘MySQL DBA

1. 负责数据库服务日常维护、可用性监控、容量规划、故障诊断和排除、数据迁移、扩容实施等;

934
来自专栏云计算D1net

物联网应用和事件驱动计算重塑云服务

如今,一些全球主要的公共云提供商已经为物联网和事件驱动计算推出了新的服务。了解这些服务对企业的IT团队和未来的云计算将有一些重要的意义。 工具总是以其用途塑造...

3486

扫描关注云+社区