hadoop-What-How-Why

导读

  1. Hadoop是什么?
  2. Hadoop的应用场景是什么?
  3. 为什么要用hadoop?
  4. hadoop的生态系统简介!

hadoop是什么?

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models.

Apache基金会的Hadoop是一个用于分布式大数据处理的架构软件库,用简单的计算模型完成集群计算。

  • 什么是分布式集群计算?

字母哥自己的理解:把计算机集群(拥有多台计算机)的计算能力和存储能力联合,使其协同合作,并能够按照一定的计算模型,完成任务目标的计算方式。

  • 如何联合计算机的计算于存储能力?hadoop提供了一个较好的基础架构!

hadoop的应用场景

hadoop擅长于大数据的分析处理(OLAP),典型的应用场景是数据仓库,大数据分析。

hadoop不擅长做OLTP,联机事务处理。传统web增删改查应用(子项目hbase除外)。

为什么要用hadoop

  • 传统单机计算能力上的瓶颈,hadoop为分布式计算提供了较好的基础架构,降低了技术能力稍差的企业进入大数据,分布式计算领域的门槛。
  • IOE厂商的设备及软件收费昂贵,采用hadoop在一定程度上降低了对IOE厂商的依赖,无论从资金上还是技术上
  • hadoop具有较好的线性扩展能力。何为线性扩展?增强计算能力=增加n台计算机。 传统的扩展方式,加cpu,加存储,加内存。
  • 国家概念政策扶持!我不得不说这个是最重要的,国内好多企业响应号召,玩起大数据概念

hadoop生态系统简介

喜欢 (2)or分享 (0)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HDFS简介

    把数据文件分布到不同的节点上的目的是什么?在不同的节点上分布式计算,计算靠近数据的原则。

    字母哥博客
  • 恕我直言你可能真的不会java第9篇-元素的匹配与查找

    这些需求如果用for循环去写的话,还是比较麻烦的,需要使用到for循环和break!本节就介绍一个如何用Stream API来实现“查找与匹配”。

    字母哥博客
  • hadoop常用维护命令

    字母哥博客
  • /tmp/hadoop-hadoop-namenode.pid: Permission denied

    starting namenode, logging to /home/hadoop/hadoop-1.0.2/libexec/../logs/hadoo...

    闵开慧
  • Hadoop hdfs完全分布式搭建教程

    1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

    IT可乐
  • 通过思维导图,让女朋友搭建一个hadoop完全分布式

    女朋友:你上次教我搭建伪分布式,我已经会搭建啦。只用了一台机器就搞定了呀,想学完全分布式的搭建。

    用户7656790
  • 保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

    在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手...

    用户7656790
  • MapReduce学习笔记

    wordcount: 统计文件中每个单词出现的次数需求:1) 文件内容小:shell2)文件内容很大:TB GB ??? 如何解决大数据量的统计分析==> ur...

    Meet相识
  • hadoop伪分布式环境搭建

      由于博主之前没有从事过hadoop相关的开发工作,最近正好遇到一个hadoop相关的项目,于是决定自学研究一下,博主整理的东西绝对是最全最详细的,不要问为什...

    会说话的丶猫
  • COS助力HADOOP轻松实现数据存储

    1.2 如何在hadoop集群上实现简单的数据处理,通过 wordcount 实现测试。

    Hunter

扫码关注云+社区

领取腾讯云代金券