前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >ubuntu 18.04安装hdp 3.1.0完整版（含安装包下载）

ubuntu 18.04安装hdp 3.1.0完整版（含安装包下载）

作者头像
从大数据到人工智能
发布于 2022-01-19 09:03:54
1K0
发布于 2022-01-19 09:03:54
举报
文章被收录于专栏：大数据-BigData

节点准备

hostname

ip

角色

ubuntu-1804-1

172.21.73.53

从节点

ubuntu-1804-2

172.21.73.54

主节点

ubuntu-1804-3

172.21.73.55

从节点

关闭防火墙

代码语言：javascript
复制
sudo ufw disableCopy

配置时钟同步NTP

所有节点安装ntp

代码语言：javascript
复制
sudo apt install ntpCopy

以ubuntu-1804-2为server，在ubuntu-1804-2进行如下修改

修改配置文件vim /etc/ntp.conf，将下述配置注释

代码语言：javascript
复制
#pool 0.ubuntu.pool.ntp.org iburst
#pool 1.ubuntu.pool.ntp.org iburst
#pool 2.ubuntu.pool.ntp.org iburst
#pool 3.ubuntu.pool.ntp.org iburst

#pool ntp.ubuntu.com
Copy

进行如下配置，将“restrict default nomodify notrap noquery”这行修改成

代码语言：javascript
复制
restrict default nomodify notrap
restrict 172.21.73.0 mask 255.255.255.0
Copy

ubuntu-1804-1和ubuntu-1804-3同样注释下述配置，

代码语言：javascript
复制
#pool 0.ubuntu.pool.ntp.org iburst
#pool 1.ubuntu.pool.ntp.org iburst
#pool 2.ubuntu.pool.ntp.org iburst
#pool 3.ubuntu.pool.ntp.org iburst

#pool ntp.ubuntu.comCopy

新增

代码语言：javascript
复制
server ubuntu-1804-2 preferCopy

启动ntp服务

代码语言：javascript
复制
systemctl enable ntp
systemctl start ntpCopy

开启使用root登陆

使用普通用户进入root用户

代码语言：javascript
复制
sudo suCopy

设置root密码

代码语言：javascript
复制
passwd rootCopy

修改配置

代码语言：javascript
复制
vim /etc/ssh/sshd_configCopy

新增如下配置：

代码语言：javascript
复制
PermitRootLogin yesCopy

重启ssh

代码语言：javascript
复制
systemctl restart sshdCopy

配置免密登录

ubuntu-1804-2可以免密登陆ubuntu-1804-1、ubuntu-1804-2、ubuntu-1804-3

三台机器均执行如下操作：

代码语言：javascript
复制
root@ubuntu-1804-2:~# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:2MRn3ranRz0AFjMqx1t3Qk5QibTnPrw+zR9MY9ftu6s root@ubuntu-1804-3
The key's randomart image is:
+---[RSA 2048]----+
|          .*=+.  |
|       .. .+B.   |
|       .o++o.= . |
|       +o+o.+.o o|
|      . S.. o..=+|
|           .o.=o+|
|            .=+oo|
|             ++oo|
|            oEo+=|
+----[SHA256]-----+Copy

在ubuntu-1804-2中进入root用户，执行如下命令，提示输入root密码，请输入root密码：

代码语言：javascript
复制
ssh-copy-id ubuntu-1804-1
ssh-copy-id ubuntu-1804-2
ssh-copy-id ubuntu-1804-3Copy

至此，ubuntu-1804-2可以用root用户成功免密登陆ubuntu-1804-1、ubuntu-1804-2、ubuntu-1804-3

mysql安装

代码语言：javascript
复制
sudo apt install mysql-server mysql-client
sudo systemctl enable mysql
sudo systemctl start mysql
Copy

默认账号密码在文件/etc/mysql/debian.cnf 中

代码语言：javascript
复制
ubuntu@ubuntu-1804-2:/etc/apt/sources.list.d$ sudo cat /etc/mysql/debian.cnf 
# Automatically generated for Debian scripts. DO NOT TOUCH!
[client]
host     = localhost
user     = debian-sys-maint
password = 0cBYq68fUGyFCpPw
socket   = /var/run/mysqld/mysqld.sock
[mysql_upgrade]
host     = localhost
user     = debian-sys-maint
password = 0cBYq68fUGyFCpPw
socket   = /var/run/mysqld/mysqld.sockCopy

修改root用户密码

代码语言：javascript
复制
use mysql;

update mysql.user set authentication_string=password('Pass-123-root') where user='root' and Host='localhost';

update user set  plugin="mysql_native_password";

flush privileges;
Copy

新建ambari用户与用户授权

代码语言：javascript
复制
create user 'ambari'@'*' identified by 'Pass-123-root';

create database ambari;

grant all privileges on ambari.* to 'ambari'@'%' identified by 'Pass-123-root' with grant option;Copy

修改配置文件，允许仓库远程访问：

代码语言：javascript
复制
sudo vim /etc/mysql/mysql.conf.d/mysqld.cnfCopy

找到下面一行，进行注释：

代码语言：javascript
复制
bind-address = 127.0.0.1Copy

改为

代码语言：javascript
复制
# bind-address = 127.0.0.1Copy

重启mysql

代码语言：javascript
复制
sudo systemctl restart mysqlCopy

下载安装包

参考地址：HDP 3.1 centos7以及ubuntu18.04高速下载链接 – 从大数据到人工智能 (lrting.top)

配置deb源

在ubuntu-1上配置deb仓库

代码语言：javascript
复制
sudo apt-get install apache2
sudo chmod -R 777 /var/www/html
sudo systemctl enable apache2
sudo systemctl start apache2Copy

将ambari拷贝到/var/www/html目录下

代码语言：javascript
复制
ubuntu@ubuntu-1804-1:/var/www/html$ ll /var/www/html/ambari
total 12
drwxrwxr-x 3 ubuntu ubuntu 4096 Dec  2 03:27 ./
drwxrwxrwx 3 root   root   4096 Dec  2 03:27 ../
drwxrwxr-x 3 ubuntu ubuntu 4096 Dec  2 03:27 ubuntu18/Copy

在/etc/apt/sources.list.d目录下，新增文件ambari.list，内容为：

代码语言：javascript
复制
deb http://ubuntu-1804-2/ambari/ubuntu18/2.7.3.0-139/ Ambari mainCopy

新增文件hdp.list，内容为：

代码语言：javascript
复制
deb http://ubuntu-1804-2/HDP-GPL/ubuntu18/3.1.0.0-78/ HDP-GPL main
deb http://ubuntu-1804-2/HDP-UTILS/ubuntu18/1.1.0.22/ HDP-UTILS main
deb http://ubuntu-1804-2/HDP/ubuntu18/3.1.0.0-78/ HDP main
Copy

导入gpg（每台机器都需要执行）

代码语言：javascript
复制
ubuntu@ubuntu-1804-2:~$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD
Executing: /tmp/apt-key-gpghome.BZYA0AHSxL/gpg.1.sh --keyserver hkp://keyserver.ubuntu.com:80 --recv B9733A7A07513CAD
gpg: key B9733A7A07513CAD: public key "Jenkins (HDP Builds) <jenkin@hortonworks.com>" imported
gpg: Total number processed: 1
gpg:               imported: 1Copy

更新源

代码语言：javascript
复制
sudo apt updateCopy

安装配置ambari-server

代码语言：javascript
复制
sudo apt install ambari-serverCopy

配置ambari-server

代码语言：javascript
复制
root@ubuntu-1804-2:~# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
WARNING: Could not run /usr/sbin/sestatus: OK
Customize user account for ambari-server daemon [y/n] (n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/lib/java/jdk8
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? 
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3
Hostname (localhost): 172.21.73.54
Port (3306): 
Database name (ambari): 
Username (ambari): 
Enter Database Password (bigdata): 
Re-enter password: 
Configuring ambari database...
Enter full path to custom jdbc driver: /var/lib/ambari-server/resources/mysql-connector-java-5.1.43.jar
Copying /var/lib/ambari-server/resources/mysql-connector-java-5.1.43.jar to /usr/share/javaConfiguring remote database connection properties...
WARNING: Before starting Ambari Server, you must run the following DDL directly from the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
Proceed with configuring remote database connection properties [y/n] (y)? y
Extracting system views...
....ambari-admin-2.7.3.0.139.jar

Ambari repo file doesn't contain latest json url, skipping repoinfos modification
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
root@ubuntu-1804-2:~# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start...............................................................................................
Server started listening on 8080

DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.Copy

启动ambari-server

代码语言：javascript
复制
ambari-server start
Copy

页面浏览http://172.21.73.54:8080/

集群注册与组件安装

填入hostname以及私钥，私钥文件为：ubuntu-1804-2的/root/.ssh/id_rsa文件

先选择Ambari Metrics、zookeeper和hdfs，其他的组件等安装完了再选择

Datanode和client全部选上

设置密码

使用默认配置

本文为从大数据到人工智能博主「xiaozhch5」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://cloud.tencent.com/developer/article/1936545

本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2021-12-，如有侵权请联系 cloudcommunity@tencent.com 删除
ubuntu
linux
数据库
云数据库 SQL Server
sql

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

ubuntu
linux
数据库
云数据库 SQL Server
sql
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 节点准备
  • 配置时钟同步NTP
  • 开启使用root登陆
  • 配置免密登录
  • mysql安装
  • 下载安装包
  • 配置deb源
  • 安装配置ambari-server
  • 集群注册与组件安装
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server （TencentDB for SQL Server）是业界最常用的商用数据库之一，对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权，可持续为用户提供最新的功能，避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
产品介绍产品文档
云数据库采购特惠，高性能、高可靠、高安全，超值优惠等你享！
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2024 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论