大数据分析处理平台的调度应该具备什么能力?

‍‍‍‍本文想讨论下大数据分析处理平台的调度从架构上看应该起到一个什么样的作用,达到一个什么样的能力。

谈调度之前,先说说大数据分析处理平台的定义‍‍:集成数据采集/导入/存储、高效统计分析/挖掘分析、结果数据可视化呈现等功能的一体化系统,它具有简单易用、高度管理、平滑扩展、定向定制、算法丰富、支持迁移、可视呈现等特点。一‍‍般来说,大数据分析处理平台有以下几个显著特点:

‍‍1、规模大,集群化。百度,腾讯,阿里的大数据分析平台目前都在几千甚至上万台X86服务器的规模。

‍‍2、复杂度高,多个子系统异构。现在很难有一种技术能把所有‍‍问题搞定,所以通常是多个子系统混合一起通力合作。‍‍

‍‍3、系统负载高,压力大,从腾讯公布的数据来看,每天完成上百万个任务的执行。‍‍

‍‍4、可靠性要求高,容易维护。‍‍

那么调度在整个大数据‍‍分析处理平台中起到什么作用?我觉得一个智能、高效的调度应该达到以下几个层面的能力:‍‍

‍‍‍‍1、首先是从资源角度,整个系统中要做到高效,就需要一个全局的分配资源的中心。这样才能做到各个子系统资源合理,高效的分配和调度。业界现在最常见的是MESOS,YARN‍‍,‍‍腾讯基于YARN的基础上改造了GAIA,谷歌公布了他的第三代调度Omega,关于资源管理可以看我前面的文章《资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析》。‍‍‍‍

‍‍2、从系统整合角度,整个系统一定是异构的系统,所以调度要支持异构,能整合异构系统来一起完成整个数据的计算,流转,存储以及提供服务。‍‍

‍‍3、从业务角度来看,系统一定的可扩展的,业务可快速定制的,所以调度本身能结合业务进行定制,支持任务的编排,任务的各个子系统的快速迁移。‍‍

‍‍4、从调度本身能力来看,调度本身应该是一个智能的调度,具有自学习,自我调优的能力,一个智能的调度系统才适合业务的不停变化。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏熊二哥

项目管理深入理解05--范围管理

进入倒数第二个章节,范围管理,这其实是项目管理中第一个子管理过程,之后的时间、成本等管理均依赖与它。 ? 项目经理是项目中最重要的人,项目经理的授权在项目章...

2208
来自专栏企鹅号快讯

数据中心在合并过程中七个存储错误

在当今的商业环境中,企业的兼并和收购是司空见惯的事情。企业合并的关键是如何将两家公司的IT基础设施组合起来。IT部门在确保合并成功方面起着关键作用,但也是企业合...

2027
来自专栏云计算D1net

全球化,云计算和移动性将改变网络需求

如今,网络需求正在不断发展。全球化要求企业在洲际距离与他人联系。云迁移意味着大多数流量现在流向互联网,而不是直接流向数据中心。此外,传统VPN连接不良,并要求企...

3747
来自专栏Java架构

搭建“双11”大型网站架构必须掌握的 5 个核心知识

每年电商双11大促对背后技术人都是一次大考,阿里数据库团队表示。经过9年的发展,双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿,秒级交易...

1014
来自专栏AlgorithmDog的专栏

游戏智能系列之三:有限状态自动机

游戏智能是很传统的领域,有限状态机和行为树是两种主要方法。今天这篇博客主要介绍有限状态自动机。 ? 1. 有限状态机 有限状态机 (Fi...

27210
来自专栏大数据文摘

最性感职业养成记 | 想做数据科学家/工程师?从零开始系统规划大数据学习之路

1533
来自专栏腾讯大数据的专栏

2015年第一季度移动行业数据报告

2015年第一季度移动行业数据报告解析了移动设备,系统分布和网络状况等国内移动互联网现状。 ? ? ? ? ? ? ? ? ? 123

2086
来自专栏EAWorld

支撑企业IT精益运营:普元DevOps平台实践之路

本文目录: 一、普元DevOps平台建设历程 二、如何建设企业级的DevOps平台 明确定位:DevOps是覆盖IT全生命周期的生产线 理清思维:DevOps思...

4368
来自专栏北京马哥教育

运维平台体系,你们真的有好好规划吗?

在之前的文章中,谈到过“运维的本质——可视化”,在可视化的篇幅中,着重介绍自动化的可视化和数据的可视化;在后续的篇章中又介绍了“互联网运维的价值体系”,里面分解...

2960
来自专栏Java技术栈

搭建“双11”大型网站架构必须掌握的 5 个核心知识

在这个互联网开发时代,作为一名软件工程师,我们经常会听到大型网站架构这个字眼,那到底什么是大型网站呢,这样的网站又是一种什么样的架构设计呢?

851

扫码关注云+社区

领取腾讯云代金券