大数据分析处理平台的调度应该具备什么能力?

‍‍‍‍本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用,达到一个什么样的能力。

谈调度之前,先说说大数据分析处理平台的定义‍‍:集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统,它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一‍‍般来说,大数据分析处理平台有以下几个显著特点:

‍‍1、规模大,集群化。百度,腾讯,阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。

‍‍2、复杂度高,多个子系统异构。现在很难有一种技术能把所有‍‍问题搞定,所以通常是多个子系统混合一起通力合作。‍‍

‍‍3、系统负载高,压力大,从腾讯公布的数据来看,每天完成上百万个任务的执行。‍‍

‍‍4、可靠性要求高,容易维护。‍‍

那么调度在整个大数据‍‍分析处理平台中起到什么作用?我觉得一个智能、高效的调度应该达到以下几个层面的能力:‍‍

‍‍‍‍1、首先是从资源角度,整个系统中要做到高效,就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理,高效的分配和调度。业界现在最常见的是MESOS,YARN‍‍,‍‍腾讯基于YARN的基础上改造了GAIA,谷歌公布了他的第三代调度Omega,关于资源管理可以看我前面的文章《资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析》。‍‍‍‍

‍‍2、从系统整合角度,整个系统一定是异构的系统,所以调度要支持异构,能整合异构系统来一起完成整个数据的计算,流转,存储以及提供服务。‍‍

‍‍3、从业务角度来看,系统一定的可扩展的,业务可快速定制的,所以调度本身能结合业务进行定制,支持任务的编排,任务的各个子系统的快速迁移。‍‍

‍‍4、从调度本身能力来看,调度本身应该是一个智能的调度,具有自学习,自我调优的能力,一个智能的调度系统才适合业务的不停变化。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

关于小程序的历史留存

微信小程序有一个很重要,但是却经常被忽略的功能——使用历史自动留存功能。 该功能最直观的表现形式是,小程序的使用历史列表。而除此之外,还有两个人们可能不太会注意...

22610
来自专栏马哥教育

运维是做什么的?史上最全互联网Linux工作规划!十分钟找到linux运维工程师职业方向!

首先祝贺你选择学习Linux,你可能即将踏上Linux的工作之旅,出发之前,让我带你来看一看关于Linux和Linux运维的一切。

4998
来自专栏云计算D1net

云计算带来的积极变化

在当今竞争激烈的行业市场,云计算提供了一个绝佳的机会,不只是为了创新,而是运营业务要比以往任何时候都更加快速、更具成本效益。这是一个非常有效的提供IT服务的平台...

4097
来自专栏圣杰的专栏

DDD理论学习系列(1)-- 通用语言

1.引言 在开始之前,我想我们有必要先了解以下DDD的主要参与者。因为毕竟语言是人说的吗,就像我们面向对象编程一样,那通用语言面向的是? DDD的主要参与者:...

2389
来自专栏Java技术栈

搭建“双11”大型网站架构必须掌握的 5 个核心知识

在这个互联网开发时代,作为一名软件工程师,我们经常会听到大型网站架构这个字眼,那到底什么是大型网站呢,这样的网站又是一种什么样的架构设计呢?

721
来自专栏企鹅号快讯

数据中心在合并过程中七个存储错误

在当今的商业环境中,企业的兼并和收购是司空见惯的事情。企业合并的关键是如何将两家公司的IT基础设施组合起来。IT部门在确保合并成功方面起着关键作用,但也是企业合...

1897
来自专栏Java架构

搭建“双11”大型网站架构必须掌握的 5 个核心知识

每年电商双11大促对背后技术人都是一次大考,阿里数据库团队表示。经过9年的发展,双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿,秒级交易...

874
来自专栏IT技术精选文摘

敏捷规划时间表

1403
来自专栏Java架构

一位阿里架构师的分享——谈谈微服务架构

微服务架构有两个关键特征,其一是原单体应用必须拆分为纵向完全独立的微服务模块,其二是微服务模块间通过轻量的Http Rest接口进行交互。对于是否进行了容器化部...

2679
来自专栏北京马哥教育

运维平台体系,你们真的有好好规划吗?

在之前的文章中,谈到过“运维的本质——可视化”,在可视化的篇幅中,着重介绍自动化的可视化和数据的可视化;在后续的篇章中又介绍了“互联网运维的价值体系”,里面分解...

2110

扫码关注云+社区