首页
学习
活动
专区
工具
TVP
发布

开源部署

专栏成员
4665
文章
6716717
阅读量
54
订阅数
RedHat 6.8 搭建 Hadoop 集群
#授予权限 chmod 700 hadoop-2.7.7.tar.gz ​ #解压到当前路径 [root@node-1 hop]# tar zxvf hadoop-2.7.7.tar.gz ​
星哥玩云
2022-08-08
6790
部署Hadoop2.0高性能集群
[root@tiandong63 ~]# more /etc/hosts  192.168.199.3 tiandong63 192.168.199.4 tiandong64 192.168.199.5 tiandong65
星哥玩云
2022-07-27
3380
Ubuntu单机安装配置Hadoop
因为是课程要求,所以在自己电脑上安装了Hadoop,由于没有使用虚拟机,所以使用单机模拟Hadoop的使用,可以上传文件,下载文件。
星哥玩云
2022-07-27
7080
Firmament – 大规模集群任务调度
随着分布式计算集群规模的不断扩张,任务调度系统的稳定性成为了整个集群稳定的关键因素。随着容器技术的快速兴起,基于容器的计算平台被大量应用,任务调度的规模及频率快速上升,这对任务调度系统提出了更为严苛的挑战。常见的调度系统往往兼顾了准确度却牺牲了性能,容器调度的复杂性使得在准确和效率之间找到平衡点很难,尤其是在交互式调度的场景下,可取的解决方案更是捉襟见肘。本篇文章就以此为背景,介绍大规模调度场景下分布式任务调度的难点、解决策略及现有的一些方案。
星哥玩云
2022-07-24
6610
CentOS Linux中搭建Hadoop和Spark集群详解
  2.所有操作都是使用root用户去操作。也可以使用其他用户,非root的话要注意操作的权限问题。
星哥玩云
2022-07-14
1.3K0
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件
操作系统:CentOS Linux release 7.4.1708 (Core)  64位 使用软件如下: jdk1.8.0_112.tar.gz Hadoop-2.7.6-src.tar.gz apache-ant-1.9.11-bin.tar.gz apache-maven-3.5.3-bin.tar.gz findbugs-3.0.1.tar.gz protobuf-2.5.0.tar.gz
星哥玩云
2022-07-14
2310
Hadoop 2.7.4 关闭与启动
环境说明: [root@hadp-master sbin]# Hadoop version Hadoop 2.7.4
星哥玩云
2022-07-13
5130
CentOS 7下Hadoop完全分布式集群搭建
Hadoop集群部署,就是以Cluster mode方式进行部署。本文是基于JDK1.7.0_79,hadoop2.7.5。
星哥玩云
2022-07-12
4670
关于Apache Mesos的一些想法
我关注Apache Mesos很长时间了。Apache Mesos从研究论文开始,2010年成为Apache孵化项目,后来从ASF“毕业”,并于2013年建立商业实体Mesosphere。
星哥玩云
2022-07-05
3140
CentOS 64位上编译 Hadoop 2.6.0
Hadoop不提供64位编译好的版本,只能用源码自行编译64位版本。学习一项技术从安装开始,学习hadoop要从编译开始。
星哥玩云
2022-07-04
2240
Ubuntu 14.04下安装Hadoop2.4.0 (伪分布模式)
在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置  http://www.linuxidc.com/Linux/2015-01/112370.htm
星哥玩云
2022-07-04
3100
Hadoop2.6版本集群环境搭建
2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga)
星哥玩云
2022-07-04
3500
Hadoop2.5.2 新特性
今天看了下Hadoop官网,2.5.2版本已经发布好几天了。赶紧看看有什么新东西。
星哥玩云
2022-07-03
1520
Maven编译hadoop-2.2.0-src
Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800) Maven home: /opt/maven Java version: 1.7.0_45, vendor: Oracle Corporation Java home: /usr/java/jdk1.7.0_45/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "2.6.18-371.3.1.el5", arch: "amd64", family: "unix"
星哥玩云
2022-07-03
2950
Hadoop2.2.0集群启动和停止Shell脚本
说明:Hadoop2.2.0集群启动和停止Shell脚本,以下脚本中出现的master,slave1,slave2,slave3均已配host。
星哥玩云
2022-07-03
4140
用贝叶斯文本分类测试打过1329-3.patch的Mahout0.9 on Hadoop2.2.0
接前一篇文章《Mahout0.9 打patch使其支持 Hadoop2.2.0》http://www.linuxidc.com/Linux/2014-09/106286.htm,
星哥玩云
2022-07-03
2060
Hadoop的内存配置
Hadoop的内存配置有两种方法:利用手动安装hadoop的帮助脚本;手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:
星哥玩云
2022-07-03
1.1K0
Hadoop2.0的HA介绍
前一篇文章介绍了Hadoop2.0(hadoop2.0架构,具体版本是hadoop2.2.0)的安装和最基本的配置(见 http://www.linuxidc.com/Linux/2014-05/101173.htm ),并没有配置HA(High Avalability,高可用性),接下来的文章中会介绍hadoop2.0HA的配置。在介绍hadoop2.0的HA配置之前,本文先介绍hadoop2.0HA的基本原理和2种方式。
星哥玩云
2022-07-01
4020
Hadoop2.0 配置yarn成功
Hadoop2.0 配置yarn成功,记住这个成功的一刻,把几个主要文件贴出来: --------------------------------------分割线 -----------------
星哥玩云
2022-06-30
3000
Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览
学习Hadoop也有一段时间了。起先从Hadoop-1.2.1开始,略会写点MapReduce,还是想要跟上Hadoop发展的步伐,虽说现在官方已经发布2.4.0版本了,但是稳定版还是2.2.0。在机器上跑了一下,发现2.x比起1.x,变化还是很大的,更加模块化了。决定从官网的文档开始入手,现在也略有些时间,就一边学习一边将其翻译成中文好了,不过英文比较烂。大概每天翻译一节吧。
星哥玩云
2022-06-30
8650
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档