能否利用Hadoop搭建完整的云计算平台?

Hadoop并不完全代表云计算,所以,要用Hadoop搭建完整的云计算平台,答案是不够。我们常说云计算,实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以,核心在“服务”。关于服务,展开来就是常用的那3种(也是事实上的标准):SaaS,PaaS,IaaS。对云计算来说,公有和私有,虚拟和存储,这其实是相对讨论的核心。

回头说Hadoop。在Google三大论文的直接刺激下,Hadoop社区兴起,而在众多的开源实现中,Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。

云计算中有哪些构件?发展到目前的技术与规模,并没有一个确切的定论,今天的说的话明天可能就不一样了。但对Hadoop来说,实现了的部分,就是大部分企业在不断发展中所遇到的大部分问题。直接上图:

从整体生态系统的角度,从底层存储,到中间的计算模型和框架,再到上层的逻辑处理和流、显示,都有相应开源的实现。这就是你说的构件了。

包括我们看到的Hadoop2.0中,引入的新的处理框架,Spark,Storm,YARN(取代MR),都是Hadoop生态系统的完善与实现。

Hadoop实现的是在简易硬件的基础上进行尽量高可用性海量计算与处理的中上层模型。Hadoop处理了存储(也只是一部分),虚拟化是没有涉及的,而底层硬件Hadoop也是不涉及的,不管是Hadoop还是其他的项目,只是在软件的层面想通过纵向或者横向的拓展解决所有的问题是不现实的。Hadoop在硬件这方面,只是在实现中预留或者接入硬件特性,也就是在虚拟化这方面Hadoop只是个“APP”,不是“始作俑者”(用词不当了)。

那么,完整的云计算平台呢?

按照企业级来说,是要看具体的企业方向和企业类型的,包括IBM和VMware都有提供不同的解决方案。大致上一定是由单点–>集群–>多层(准分布式)–>硬件–>分布式(地域分布)来解决的。具体到Hadoop体系的技术,直接去对应上图就好了。

从云计算这个概念出现到今天,资料可以说“浩如烟海”了,但很多资料只是互相复制黏贴,并没有说到云计算的核心。我想提出的一个观点是,完整的云计算平台,依赖的是业务,提供的是存储与支持。

没有业务需求而是照搬网上的资料或者自认为“活用”了某些技术,都可能只是“娱人娱己”。我们看一下互联网负载均衡技术是如何发展的就就更容易理解云计算:

客户端缓存–>CDN缓存–>Apache&Nginx静态页面缓存–>PHP和Java动态内存–>Memcache&Other Nosql–>Mysql&Oracle–>HDFS&Other Big Table

从技术的角度看,所有问题解决起来都是层次化的(大家肯定都有写Demo吧),都是根据不同的需求引入不同的技术,在单层单点乃至集群都无法解决问题的时候,新的计算框架,云计算与网格计算乃至动画需要的大规模渲染都在需要的时候顺理成章的引入。总之,完整的云计算平台,对于不同的公司业务都是不同的,拿腾讯来说,平台的组件多如牛毛,“平台”只是提供最基础的服务:存储与支持,其他的都需要业务根据自身的特点在其上进行构建(相信大公司都是有自己的完整方案的,这里我就不能再说了……),至于提高什么样级别的这种“服务”,就要看公司的业务规模,需要支撑的体系,乃至公司的决策战略了等等。

原文发布于微信公众号 - 云计算D1net(D1Net02)

原文发表时间:2015-03-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SDNLAB

网络工程师的DevOps入门指南

DevOps是一个促进开发人员和系统管理员之间更好协作的运动。本文主要探讨DevOps如何影响网络专业人员。 什么是DevOps? DevOps是IT行业的一个...

47540
来自专栏钱塘大数据

Hadoop大数据系统的七大危险信号

导读:大多数企业大数据应用案例尚处于实验和试点阶段,对于少数首次在生产环境部署Hadoop系统的用户来说,最常遇到的就是扩展问题,此类问题往往导致企业因噎废食,...

29790
来自专栏SDNLAB

vCPE 2.0——开放vCPE架构的业务用例

目前已经有大量的文章在描述虚拟CPE(vCPE)的优势,简化企业广域网(WAN)的复杂性激发了许多网络工程师和企业IT管理员的想象力。能够通过自助服务门户和自动...

419110
来自专栏BestSDK

一键分享+多平台共享登录,APP开发必备SDK|完全免费

对于App的拉新促活,MobSDK可以用ShareSDK+MobLink组合成为App运营的又一杀手锏,降低用户在Web端跳转至App过程中的流失率,大大提高用...

42730
来自专栏GA小站

神策、诸葛IO、GrowingIO、PT,他们是怎么做营销的?

21420
来自专栏Golang语言社区

技术干货分享:如何选择 HTML5 游戏引擎

原生手游市场已是红海,腾讯、网易等寡头独霸天下,H5游戏市场或将成为下一个风口。据笔者所知,很多H5游戏开发团队由于选择引擎不慎导致项目甚至团队夭折。如何选择适...

43290
来自专栏木东居士的专栏

数据工程师该如何入门?

23850
来自专栏云计算D1net

云中巨象——作为一种服务的Hadoop

Ashish Thusoo, Qubole的CEO和联合创始人,最近在 Enterprise Data World Conference (EDW)上谈到了作为...

35660
来自专栏新智元

亚马逊深度学习框架MXNet加入Apache孵化器,加持4大开源系统

【新智元导读】亚马逊近日公布其支持的深度学习框架MXNet加入Apache孵化器,从而利用Apache软件基金会的流程、管理、外展和社区活动。加快MXNet的发...

37990
来自专栏鹅厂网事

海量服务器运营平台的进化之路

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网...

37360

扫码关注云+社区

领取腾讯云代金券