首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Hadoop极简入门

    YARN : 一个管理集群服务器资源和任务调度的框架。 MapReduce : 基于Yarn对大数据集进行并行计算的系统。...框架会对map的输出先进行排序, 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控,以及重新执行已经失败的任务。...通常,MapReduce框架和HDFS是运行在一相同的设备集群上的,也就是说,计算设备和存储设备通常在一起。...这种配置允许框架在那些已经存好数据的设备上高效地调度任务,这可以使整个集群的网络带宽被非常高效地利用。...MapReduce框架由一个单独的master JobTracker 和每个集群设备一个slave TaskTracker共同组成。

    74940
    领券