腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Albert陈凯

专栏作者

530

文章

783531

阅读量

55

订阅数

Hadoop数据分析平台实战——020Hadoop Shell命令（初学跳过）离线数据分析平台实战——020Hadoop Shell命令（可跳过）

hadoop 数据分析 shell yarn

离线数据分析平台实战——020Hadoop Shell命令（可跳过） Hadoop Shell命令简单描述 Hadoop的Shell命令主要分为两类：一类是启动命令一类是控制/操作命令(hdfs+mapred+yarn) 其中启动命令位于sbin目录下面，控制/操作命令主要位于bin目录下面其实最终的启动命令也是调用控制命令来进行集群服务的启动，区别在于启动命令中需要使用ssh的相关命令来控制其他机器启动服务，而控制/操作命令主要是直接调用hadoop提供的服务类接口。 Hadoop配置信

2018-04-08

1.1K0

YARN & Mesos，论集群资源管理所面临的挑战

在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的嘉宾包括TalkingData研发副总裁阎志涛，GrowingIO田毅，AdMaster技术副总裁卢亿雷，Spark Committer、Mesos/Hadoop Contributor夏俊鸾，下面一起回顾。

2018-04-04

7850

3.4 Spark通信机制

spark yarn 分布式 rpc

3.4 Spark通信机制前面介绍过，Spark的部署模式可以分为local、standalone、Mesos、YARN等。本节以Spark部署在standalone模式下为例，介绍Spark的通信机制（其他模式类似）。 3.4.1 分布式通信方式先介绍分布式通信的几种基本方式。 1. RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UD

2018-04-04

1.6K0

spark on yarn的技术挑战

目前spark是一个非常流行的内存计算（或者迭代式计算，DAG计算）框架，在MapReduce因效率低下而被广为诟病的今天，spark的出现不禁让大家眼前一亮。从架构和应用角度上看，spark是一个仅包含计算逻辑的开发库（尽管它提供个独立运行的master/slave服务，但考虑到稳定后以及与其他类型作业的继承性，通常不会被采用），而不包含任何资源管理和调度相关的实现，这使得spark可以灵活运行在目前比较主流的资源管理系统上，典型的代表是mesos和yarn，我们称之为“spark on mesos”和

2018-04-04

5670

Mac在Hadoop的yarn上运行mapreduce报错ExitCodeException exitCode=127:

hadoop 2.7.2 17/04/14 14:07:00 INFO mapreduce.Job: Job job_1492146520853_0005 running in uber mode : false 17/04/14 14:07:00 INFO mapreduce.Job: map 0% reduce 0% 17/04/14 14:07:00 INFO mapreduce.Job: Job job_1492146520853_0005 failed with state FAILED du

2018-04-04

1.8K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态