Hadoop简介

摘 要

当今大数据最火爆的一个名词就是Hadoop,那么Hadoop是什么呢?

Hadoop是什么

Hadoop是一个由Apache基金会的发布的开源的,可靠的,可扩展的,分布式的运算存储系统。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop可以解决什么问题

  • 海量数据的存储(HDFS)
  • 海量数据的分析(MapReduce)
  • 资源管理调度(YARN)

Hadoop来源与历史

  • Hapdoop是Google的集群系统的开源实现

-Google集群系统:

GFS(Google File System)  、MapReduce、BigTable

-Hadoop主要由HDFS(Hadoop Distributed File System即hadoop分布式文件系统)、MapReduce和Hbase组成。

  • Hadoop的最初是为了解决Nutch的海量数据爬取和存储需要。
  • Hadoop在2005年秋天作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

Hadoop具体能做什么

hadoop擅长日志分析
  • facebook就用Hive来进行日志分析,2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析.
  • 淘宝搜索中的自定义筛选也使用的Hive;利用Pig还可以做高级的数据处理,包括Twitter、LinkedIn 上用于发现您可能认识的人,可以实现类似com的协同过滤的推荐效果。淘宝的商品推荐也是!
  • 在Yahoo!的40%的Hadoop作业是用pig运行的,包括垃圾邮件的识别和过滤,还有用户特征建模。(2012年8月25新更新,天猫的推荐系统是hive,少量尝试mahout!)

哪些公司使用了Hadoop

  • Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

比较大型IT公司如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。

  • 在淘宝:
    • 从09年开始,用于对海量数据的离线处理,例如对日志的分析,交易记录的分析
    • 规模从当初的3~4百台节点,增加到现在的一个集群有3000个节点,淘宝现在已经有2~3个这样的集群
    • 在支付宝的集群规模也有700台节点,使用Hbase对用户的消费记录可以实现毫秒级查询

Hadoop生态圈

  • 这一切是如何开始的—Web上庞大的数据!
  • 使用Nutch抓取Web数据
  • 要保存Web上庞大的数据——HDFS应运而生
  • 如何使用这些庞大的数据?
  • 采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析
  • 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse,webdav, chukwa, flume, Scribe
  • Hiho和sqoop将数据加载到HDFS中,关系型数据库也能够加入到Hadoop队伍中
  • MapReduce编程需要的高级接口——Pig, Hive, Jaql
  • 具有先进的UI报表功能的BI工具- Intellicus
  • Map-Reduce处理过程使用的工作流工具及高级语言
  • 监控、管理hadoop,运行jobs/hive,查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia
  • 支持框架—Avro (进行序列化), Zookeeper (用于协同)
  • 更多高级接口——Mahout, Elastic map Reduce
  • 同样可以进行Hbase

hadoop1.0和hadoop2.0的对比

Hadoop特点

  • 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。
  • 成本低(Economical):可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。
  • 高效率(Efficient):通过分发数据,hadoop可以在数据所在的节点上并行地(parallel)处理它们,这使得处理非常的快速。
  • 可靠性(Reliable):hadoop能自动地维护数据的多份副本,并且在任务失败后能自动地重新部署(redeploy)计算任务。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编舟记

流水线即代码

2016年11月份的技术雷达中给出了一个简明的定义:流水线即代码 (Pipeline as Code) 通过编码而非配置持续集成/持续交付 (CI/CD) 运行...

643
来自专栏python爬虫实战之路

利用scrapy进行八千万用户数据爬取与优化(一)

最近准备把数据分析这块补一下,加上一直在听喜马拉雅的直播,有一个比较喜欢的主播,突然萌生了爬取喜马拉雅所有主播信息以及打赏信息,来找一找喜马拉雅上比较火的主播和...

1182
来自专栏大数据

零基础小白成为大数据技术专家必知的学习历程

每天都会有很多小白在社交平台上问我:“青牛没有基础可以学习大数据吗?能不能学的懂啊?我不懂java可以学大数据吗?”,针对这些基础性的问题,我写了这篇文章,希望...

16910
来自专栏ThoughtWorks

流水线即代码|洞见

2016年11月份的技术雷达中给出了一个简明的定义:流水线即代码(Pipeline as Code)通过对持续集成/持续交付(CI/CD)运行工具进行编码而非配...

3545
来自专栏知晓程序

网盘纷纷倒下,只有这个小程序才能救我于水火 | 亲儿子

我在广州冷热交加的空气,瑟瑟发抖的度过了半个月。最终还是没熬过,一周前光荣地倒在了流感的洪流中,转变为匍匐前进的工作模式。

793
来自专栏IT技术精选文摘

高并发大容量NoSQL解决方案探索

1153
来自专栏北京马哥教育

从小公司,一路跌跌撞撞到腾讯,论高级DBA的自我修养!

专职做 DBA 已经 6 年多的时间了,一路走来,感触非常深。看同行、同事犯了太多的错误,同样我自己也犯了非常多的错误,然而绝大多数的错误其实都是很低级的错误。...

3938
来自专栏zhangdd.com

详解Win10家庭版/专业版/企业版功能区别

之前曾经在今年更早时间解释了Win10各个版本之间有什么差别和不同之处,但是在Win10升级全知晓中发现依然有很多朋友还是在问,这里就再详细解释一下。

1003
来自专栏FreeBuf

监控网络流量?支付宝安全控件“附赠”的可疑进程

阿里巴巴支付宝的一个进程Alipaybsm.exe被怀疑监控网络流量,它会复制发送的数据到接收缓冲中。 在接下来的篇幅中,我要讲一个目前还没结束的故事。故事可...

17910
来自专栏NetCore

对于大数据大流量情况下微软架构的水平扩展的遐想(瞎想)

最近回顾SAAS的书籍,书中的扩展架构都有点让我痴迷,但书中介绍的都是以Java,Apache,JBoss,Hadloop等技术实现负载均衡,大数据处理,对于微...

1938

扫码关注云+社区