Hadoop功能性能

1 支持的语言

Java/SHELL/Python/ruby等各种支持标准输入输出的语言。

2 能够处理的文件大小

它支持比NFS大得多的文件大小。

3 支持的运行平台

l Java 1.5.x 或更高版本(推荐使用 Sun 的实现版本)。

l 支持Linux与Windows操作系统。在 BSD、Mac OS/X 及 OpenSolaris 上也可工作(对于Windows,需要安装 Cygwin)。

4可扩展性描述

Hadoop的性能已经在多达 2000 个节点的机群上得以验证。排序程序的性能在 900 个节点的机群上表现很好(在 900 个节点上对 9TB 数据进行排序消耗 1.8 小时)。在 1400个节点和 2000 个节点的机群上,排序程序的性能依然不错。1400 个节点排序 14TB 数据消耗 2.2 小时。2000个节点排序 20TB 数据消耗 2.5 小时。

5 是否必须使用 Java 编写应用程序

不,有几种办法让非Java代码与Hadoop协同工作。

l HadoopStreaming允许用任何shell命令作为map或reduce函数。

l libhdfs是一种基于JNI的C语言版API(仅用于 HDFS)。

l Hadoop Pipes是一种兼容SWIG的 C++ API (非JNI),用于编写 MapReduce作业。

6 硬件配置

双 CPU 或双核 CPU、4-8GB ECC 内存的机器比较合适。不要使用桌面级计算机,应当选用性价比高的相对高端的商用机,它们的价格通常是产品级应用程序服务器的 1/2 到 2/3,成本通常在 2000-5000 美元。

7 是否支持多客户端同时写入同一个 HDFS 文件

不支持,HDFS 只支持独占的写入。第一个客户端连接到名字节点,打开待写入的文件时,名字节点授予客户端一个租约,以便其写入这个文件。第二个客户端试图以写入方式打开相同的文件时,名字节点发现此文件的租约已经授予了其它客户端,就会拒绝第二个客户端的打开请求。

目前Release版本是0.20.205.0。还不成熟,但是已经集群规模已经可以达到4000个节点,是在Yahoo!实验室中构建的。下面是此集群的相关数据:

· 4000 节点

· 2 x quad core Xeons@2.5ghz per 节点

· 4 x 1TB SATA Disk per 节点

· 8G RAM per 节点

· 千兆带宽 per 节点

· 每机架有40个节点

· 每个机架有4千兆以太网上行链路

· Redhat Linux AS4 ( Nahant update 5 )

· Sun Java JDK1.6.0_05 - b13

· 所以整个集群有30000多个CPU,近16PB的磁盘空间

2009年4月-- 赢得每分钟排序,59秒内排序500 GB(在1400个节点上)和173分钟内排序100 TB数据(在3400个节点上)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Laoqi's Linux运维专列

Apache与Nginx的优缺点比较

14140
来自专栏SDNLAB

P4编程理论与实践(2)—快速上手

作者简介:郑浩,东南大学本科生,研究方向:OpenFlow,P4。邮箱: zenhox@163.com

27140
来自专栏Maroon1105

如何在Linux上安装SHOUTcast DNAS服务器

SHOUTcast是专为通过互联网传输流媒体而设计的软件。SHOUTcast系统使用经典的客户端 - 服务器配置。您可以在服务器上安装SHOUTcast,并使用...

22420
来自专栏WeTest质量开放平台团队的专栏

面向 Unity 程序员的 Android 快速上手教程

本文的目的就是通过介绍基础的 Android 开发知识以及部分的实际操作,让大家有一定的Android 基础知识储备。

46100
来自专栏文渊之博

解决简单恢复模式下产生的日志增长

简介   最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询...

21480
来自专栏DevOps时代的专栏

认识高性能Web缓存体系,你需要知道这些

前言 我们再看知识体系的时候,我们学一个东西的时候,每次我们都回过头去看一看,这就是所谓的不忘初心。这个说着容易做起来难,当一个人慢慢在成长,在进步的时候,是很...

30670
来自专栏hadoop学习

DKhadoop安装包下载与监控参数说明

前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

11920
来自专栏程序员互动联盟

【专业技术】 浏览器中Webkit2的API介绍

WebKit2提供稳定非阻塞式基于C的API,多数API对平台独立(agnostic)。为了获得非阻塞能力,Webkit2使用了一些技术,正式这些技术的使用,使...

39860
来自专栏散尽浮华

Redis+TwemProxy(nutcracker)集群方案部署记录

Twemproxy 又称nutcracker ,是一个memcache、Redis协议的轻量级代理,一个用于sharding 的中间件。有了Twemproxy,...

493100
来自专栏WeTest质量开放平台团队的专栏

Linker加载so失败问题分析

原文链接:https://wetest.qq.com/lab/view/421.html

14710

扫码关注云+社区

领取腾讯云代金券