专栏首页王小雷2.2Virtualbox高级应用构建本地大数据集群服务器

2.2Virtualbox高级应用构建本地大数据集群服务器

版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960206

2.2 Virtualbox高级应用构建本地大数据集群服务器

卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新

本节主要内容:

  • 创建4台虚拟机(本章中称虚拟机亦称服务器)分别命名为(busuanzi.org,master,worker1,worker2)
  • 设置Host-only网络
  • 分别安装Linux服务器(Ubuntu18.04 Server版)
    • 用于伪分布式的服务器1台
    • busuanzi@org (用户名@主机名)
    • 用于完全分布式集群的服务器3台
    • busuanzi@master
    • busuanzi@worker1
    • busuanzi@worker2
  • 手动分配静态IP
  • 本地与服务器互通
  • 服务器与服务器免密码登录

2.2.1 创建4台虚拟机

Name分别为busuanzi.org,master,worker1,worker2。

其实,一路“默认配置继续”就行,其中内存和磁盘大小可以灵活调节。

创建完成

2.2.2 设置Host-only网络

busuanzi.org,master,worker1,worker2依次增加Host-only设置

2.2.3 分别安装Linux服务器(Ubuntu18.04 Server版)

(后续章节中用来大数据代码编程调试——因为在本地直接开三台虚拟机可能有的同学机器受不了)

关键步骤设置

  • Servers name为Hostname主机名 org,主机名根据机器和用途分配不同的名字。
  • username为username 用户名busuanzi,用户名需要一致。
    • 伪分布式
    • busuanzi@org
    • 集群
    • busuanzi@master
    • busuanzi@worker1
    • busuanzi@worker2

2.2.4 手动分配静态IP

IP分配为 - busuanzi.org 192.168.56.101 - master 192.168.56.102 - worker1 192.168.56.103 - worker2 192.168.56.104

使得/etc/network/interfaces配置可以生效

sudo apt update
sudo apt install ssh pdsh ifupdown

增加如下内容,解决命令行中中文乱码问题

LANG=en_US.utf-8
LC_ALL=en_US.utf-8

查看当前网络

ls /sys/class/net

修改网络配置文件

sudo vim /etc/network/interfaces

添加如下内容,此时为192.168.56.101 其他3台分别为102,103,104

# 增加的Host-only静态IP设置 (enp0s8 是根据拓扑关系映射的网卡名称(旧规则是eth0,eth1))
# 可以通过 ```ls /sys/class/net```查看,是否为enp0s8
auto enp0s8
iface enp0s8 inet static
address 192.168.56.101
netmask 255.255.255.0

重启 busuanzi.org 虚拟机

依此步骤 分别分配集群3台服务器IP

2.2.5 本地与服务器互通

ssh busuanzi@192.168.56.101

依次登录(根据自己机器性能谨慎四台机器同时开启)

2.2.6 服务器与服务器相互登录

从master服务器登录到worker1服务器

本节完成

长按关注从入门到精通

开源、源码获取 https://github.com/wangxiaoleiAI/big-data


(分割线以下可忽略)

拓展部分

服务器版安装详细步骤:

Ubuntu18.04服务器版安装完成。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • PaaS基础学习(1)

    PaaS基础学习(1) PaaS学习笔记目录 PaaS基础学习(1) 在PaaS上开发Web、移动应用(2) PaaS优点与限制(3) 1. 基础单元,一个基础...

    王小雷
  • 7.2 Sqoop2安装

    版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.n...

    王小雷
  • mybatis 高级映射和spring整合之高级映射(4)

    王小雷
  • 经典面试题-Http协议中返回状态200、404、302、301、500、502各式什么含义

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    cwl_java
  • wordpress网站基于avada主题搬家教程

    今天给一个8核16G的服务器安装了宝塔和wordpress网站,第一次遇到这么高配置的服务器,记录一下。同时遇到关于wordpress网站基于avada主题搬家...

    wordpress建站吧
  • 高并发网站/服务常规应对方案和思路

    作为后端的程序开发人员,经常听到高并发,但是高并发到底有多高?其实是没有数值定义的

    KenTalk
  • http状态码

    1开头的http状态码 表示临时响应并需要请求者继续执行操作的状态代码。 100   (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一...

    py3study
  • http状态码

    大象无痕
  • mysql主从架构的实现

      centos系统服务器2台、 一台用户做Mysql主服务器, 一台用于做Mysql从服务器, 配置好yum源、 防火墙关闭、 各节点时钟服务同步、 各节点之...

    菲宇
  • 算法:编辑距离(Levenshtein Distance)

    “编辑距离”又称 Leveinshtein 距离,是由俄罗斯科学家 Vladimir Levenshtein 在 1965 年提出。

    WEBJ2EE

扫码关注云+社区

领取腾讯云代金券