SSH(Secure SHELL)是一种开源且可信的网络协议,用于登录远程服务器以执行命令和程序。
我们知道如果要向远程服务器传输数据和操作必须输入用户名和密码远程登录服务器 ,或用FTP等协议,都需要权限控制。 然而如果是两台服务器间的软件需要通讯和数据传输,如hadoop集群中机器互访,是不是每次也要输入用户名和密码?那是不是很麻烦?下面介绍SSH来解决这个问题(不是JAVA中的SSH概念) SSH是一种网络协议,用于计算机之间的加密登录。 如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码也不会泄露。 最早的时候,互联网
我们这里假设是在配置ssh无密码登录子节点的情况,ssh无密码登录配置见 http://www.linuxidc.com/Linux/2015-01/112032.htm
如果将来想采用ssh 主机名的方式来访问其余节点,请确保各个节点上的hosts文件下有对各个ip以及主机名的映射,可通过如下命令进行查看
最近要给集群设置ssh无密码登陆,如果需要手动设置这个无密码登陆,所以在网上找了几个脚本,亲测下面这个好使,并且设置比较简单。 需要用root账户执行,我也是要给root账户设置无密码登陆。 首先我们要创建密码,执行下面这句命令: ssh-keygen -t rsa 脚本如下:我们仅仅需要修改的就是node=()里面的主机名就可以了,当前前提是你必须在/etc/hosts 配置了。 #!/bin/bash node=(hadoop.Master hadoop.SlaveT1 hadoop.SlaveT2)
常常在工作中需要在各个Linux机间进行跳转,每次密码的输入成了麻烦,而且也不安全。在实际使用中,在windows下常使用secureCRT工具或teraterm工具进行SSH登录,以及实现hadoop集群部署要求的无密码跳转问题。
以下针对的是openssh,而不是ssh,也不是ssh2。配置分两部分:一是对登录机的配置,二是对被登录机的配置,其中登录机为客户端,被登录机为服务端,也就是解决客户端到服务端的无密码登录问题。下述涉及到的命令,可以直接拷贝到Linux终端上执行,已全部验证通过,操作环境为CentOS Linux release 7.0。
SSH(Secure Shell),是专为远程登录会话和其他网络服务提供安全性的协议。
ZooKeeper可以独立搭建集群,HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。
Mac自带terminal,以及比较好用的iTerm2命令行工具,都缺乏一个功能,就是远程SSH连接,无法保存密码。
首先说明,本文记录的是搭建的3节点的完全分布式Hadoop集群的过程,环境是CentOS 7,1个nameNode,2个dataNode,如下:
安装VMware,使用三台 Ubuntu18.04 虚拟机进行集群搭建,下面是每台虚拟机的规划:
原理 双向,顾名思义,双方互通,此处的意思是多台 linux 两两免密登录.双向比单向多了些操作,单向只需把某一个linux的公钥发送给其他linux即可,而双向要实现集群中的每一台机器都保存其他所有 …
虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操作系统配置进行详细说明,hadoop安装会在下一篇文章中详细的介绍。
从oradb30机器拷贝一个文件夹到oradb31机器: scp -r /u01/media/Disk1/ 192.168.1.31:/u01/media/
以下针对的是ssh2,而不是ssh。精简的意思是无多余步骤,详细是说关键细节都有提到。配置分两部分:一是对登录机的配置,二是对被登录机的配置,其中登录机为客户端,被登录机为服务端,也就是解决客户端到服务端的无密码登录问题。下述涉及到的命令,可以直接拷贝到Linux终端上执行,已全部验证通过,操作环境为SuSE 10.1。
ssh 无密码登录要使用公钥与私钥。Linux下可以用用ssh-keygen生成公钥/私钥对。
以下针对的是ssh2,而不是ssh,也不是OpenSSH。配置分两部分:一是对登录机的配置,二是对被登录机的配置,其中登录机为客户端,被登录机为服务端,也就是解决客户端到服务端的无密码登录问题。下述涉及到的命令,可以直接拷贝到Linux终端上执行,已全部验证通过,操作环境为SuSE 10.1。
Hadoop使用ssh来通信。所以操作系统上必须安装ssh,本人采用的是Ubuntu 14,安装ssh后要保证sshd处于运行状态,如果没有安装ssh的话,
我们在 /etc/hosts 中将该映射关系填写上去即可,如下图所示(一般该文件中只有一个 127.0.0.1,其对应名为 localhost,如果有多余的应删除,特别是不能有 “127.0.0.1 Master” 这样的记录)
单向无密码访问远程服务器操作比较简单,比如服务器A需要无密码访问服务器B(A–>B),那么只需要在服务器A生成密钥对,将生成的公钥上传到服务器B的相关用户目录下的.ssh目录中(没有的话手动创建,注意,它的目录权限是700),并将公钥文件名称改为authorized_keys(注意,这个文件的权限应该是644),如果已存在authorized_keys文件,则把id_rsa.pub的内容追加到authorized_keys文件中。请注意.ssh目录及authorized_keys文件的权限,权限不符,会使配置无效。具体操作如下:
选择典型的集群规划,即一台Master,两台Slave的设置。 主机名及局域网IP配置如下:
文|指尖流淌 前言 上一篇我们讲解了Hadoop单节点的安装,并且已经通过VMware安装了一台CentOS 6.8的Linux系统,咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群,闲言少叙,进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾上一篇我们完成的单节点的Hadoop环境配置,已经配置了一个CentOS 6.8 并且完成了java运行环境的搭建,Hosts文件的配置、计算机名等诸多细节。 其实完成这一步之后我们就已经完成了
前面我搭建的Hadoop都是单机伪分布式的,并不能真正感受到Hadoop的最大特点,分布式存储和分布式计算。所以我打算在虚拟机中同时开启3台机器,实现分布式的Hadoop群集。
一、前言 上一篇文章讲了OpenStack的部署和简单操作,今天介绍一下如何实现虚拟机的Migrate以及Resize。Migrate操作和Resize操作基本上属于同一种操作,Migrate操作只是Resize操作的一个特例,无需更改虚拟机的配置。 二、操作 2.1 应用需求 这两个需求的应用场景如下: 某台宿主机不再使用需要将其内虚拟机迁出。 当前宿主机内虚拟机数量过多,迁出一部分。理论上这种情况不存在,因为OpenStack在建立虚拟机的时候会考虑这些问题,但是如果新添加了宿主机节点则有可能出现此问题
当你有多台服务器,如果一台一台登录上去管理那就说不出的麻烦,所以批量管理工具就应运而生了。只要你设置了SSH无密码登录:
PBS(Portable Batch System)最初由NASA的Ames研究中心开发,主要为了提供一个能满足异构计算网络需要的软件包,用于灵活的批处理,特别是满足高性能计算的需 要,如集群系统、超级计算机和大规模并行系统。
在系统之间移动文件是 Linux 系统管理员的常规操作之一,通过网络传输数据时,一个重要的考虑因素是您使用的介质的安全性。
添加用户及无密码访问 添加用户 adduser hadoop 设置密码 passwd hadoop 添加到sudo用户组 chmod +w /etc/sudoers echo '%hadoop ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers chmod -w /etc/sudoers su hadoop ssh-keygen -t rsa 机器互通 安装maven sudo mkdir -p /opt/maven sudo chown -R hadoop:hadoop /opt/maven tar zxvf apache-maven-3.1.1-bin.tar.gz -C /opt/maven/ 安装JDK sudo mkdir -p /opt/java sudo chown -R hadoop:hadoop /opt/java tar zxvf jdk-7u45-linux-x64.tar.gz -C /opt/java/ 配置环境变量 sudo vim /etc/profile export JAVA_HOME=/opt/java/jdk1.7.0_45 export MAVEN_HOME=/opt/maven/apache-maven-3.1.1 export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH 安装protobuf wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.bz2 sudo mkdir -p /opt/protobuf sudo chown -R hadoop:hadoop /opt/protobuf tar jxvf protobuf-2.5.0.tar.bz2 -C /opt/protobuf sudo yum install gcc cd /opt/protobuf/protobuf-2.5.0 ./configure make sudo make check sudo make install protoc --version 安装hadoop 2.2.0 tar zxvf hadoop-2.2.0-src.tar.gz 打补丁 cd hadoop-2.2.0-src wget https://issues.apache.org/jira/secure/attachment/12614482/HADOOP-10110.patch patch -p0 < HADOOP-10110.patch 编译 mvn clean install -DskipTests 编译本地包 sudo yum install cmake ncurses-devel openssl-devel -y mvn package -Pdist,native -DskipTests -Dtar 校验安装成功 cd /home/hadoop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0 bin/hadoop version 加快其它机器编译速度 scp -r ~/.m2/ kn02:~/
物理机器总共4台,想配置基于物理机的Hadoop集群中包括4个节点: 1 个 Master, 3个 Salve ,
2. $ssh-keygen -t rsa ------------------然后一直按回车键,就会按照默认的选项将生成的私钥保存在.ssh/id_rsa文件中,生成的公钥保存在.ssh/id_rsa.pub中。
在客户端使用ssh-keygen生成密钥对,然后把公钥复制到服务端(authorized_keys)。
对于linux运维工作者而言,使用ssh远程远程服务器是再熟悉不过的了!对于ssh的一些严格设置也关系到服务器的安全维护,今天在此,就本人工作中使用ssh的经验而言,做一些总结记录来下。 -bash: ssh: command not found 解决办法; yum install -y openssh-server openssh-clinets (0)ssh登录时提示:Read from socket failed: Connection reset by peer. 尝试了很多解决方案均无效,无奈!
expect是交互性很强的脚本语言,可以帮助运维人员实现批量管理成千上百台服务器操作,是一款很实用的批量部署工具! expect依赖于tcl,而linux系统里一般不自带安装tcl,所以需要手动安装 下载:expect-5.43.0.tar和tcl8.4.11-src.tar 下载地址:https://pan.baidu.com/s/1kVyeLt9 提取密码:af9p 将expect和tcl的软件包下载放到/usr/local/src目录下 (1)解压tcl,进入tcl解压目录,然后进入unix目录进
SSH(Secure Shell)是一种安全网络协议,用于在不安全的网络上安全地进行远程登录和执行命令。在 Linux 系统中,使用 SSH 可以方便地远程连接到其他计算机,并且还可以通过配置无密码登录来提高操作的便利性和安全性。本文将介绍如何在 Linux 中设置 SSH 无密码登录。
有时候为了让两台机器之间实现文件同步,可以使用scp来传输文件,但是scp传输文件时候需要输入密码,这样一来要想实现自动化同步文件就没法实现。所以要想实现自动化同步文件需要去掉scp输入密码这一环节。
瓦利[1]是一款开源的 DevOps 代码自动部署工具,目前官方有两个新旧版本,分别是基于 PHP2 和 Python。
在文件的第99行或者root ALL=(ALL) ALL内容后新启一行添加以下内容
先参考:《Hadoop-2.3.0-cdh5.1.0伪分布安装(基于CentOS)》 http://www.linuxidc.com/Linux/2014-09/106372.htm
知道ssh的朋友应该知道它是用来干什么的,如果你不知道什么是ssh远程登录的话,可以去看一下我的上一篇博客,关于linux的网络基础的知识。 备注:ssh是用于远端登入。执行ssh指令开启终端机阶段作
Hadoop集群包含1个主节点和3个从节点,需要实现各节点之间的免密码登录,下面介绍具体的实现方法。
在SSH之前,一直使用telnet进行远程连接(端口为TCP:23),但由于telnet在进行数据传输时是明文传输,不安全,因此采用加密传输的ssh(端口为TCP:22)
expect 命令是用来实现自动化交互通信的,比如当你在脚本中通过某些命令登录、连接、上传、下载等和远程服务器的交互时,可能需要让你输入一些账号、密码等信息
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 基础环境 环境准备 1、软件版本 四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G 四台服务器分配的IP地址:192.168.
Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 基础环境 环境准备 1、软件版本 四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G 四台服务器分配的IP地址:192.168.0.71/72/73/74 规划:71用作主节点用作hadoop-master,其它三台为数据节点72、73、74用作hadoop-salve1~3 jdk和生成保持一致
领取专属 10元无门槛券
手把手带您无忧上云