首页
学习
活动
专区
圈层
工具
发布
50 篇文章
1
客快物流大数据项目(一):物流项目介绍和内容大纲
2
客快物流大数据项目(二):物流项目详细介绍
3
客快物流大数据项目(三):项目解决方案
4
客快物流大数据项目(四):大数据项目为什么使用Docker
5
客快物流大数据项目(五):Docker介绍
6
客快物流大数据项目(六):Docker与虚拟机的形象比喻及组件介绍
7
客快物流大数据项目(七):Docker总结
8
客快物流大数据项目(八):Docker的安装和启动
9
客快物流大数据项目(九):Docker常用命令
10
客快物流大数据项目(十):Docker容器命令
11
客快物流大数据项目(十一):Docker应用部署
12
客快物流大数据项目(十二):Docker的迁移与备份
13
客快物流大数据项目(十三):Docker镜像
14
客快物流大数据项目(十四):DockerFile介绍与构建过程解析
15
客快物流大数据项目(十五):DockeFile常用命令
16
客快物流大数据项目(十六):使用脚本创建镜像
17
客快物流大数据项目(十七):自定义镜像mycentos
18
客快物流大数据项目(十九):项目环境准备
19
客快物流大数据项目(二十):物流管理系统服务器的数据路径配置和软件下载存放位置
20
客快物流大数据项目(二十一):Docker环境初始化
21
客快物流大数据项目(二十二):Docker环境中安装软件
22
客快物流大数据项目(二十三):OGG介绍
23
客快物流大数据项目(二十四):OGG安装部署
24
客快物流大数据项目(二十五):初始化业务数据
25
客快物流大数据项目(二十六):客户关系管理服务器
26
客快物流大数据项目(二十七):Cloudera Manager简单介绍
27
客快物流大数据项目(二十八):大数据服务器环境准备
28
客快物流大数据项目(二十九):下载CDH的安装包
29
客快物流大数据项目(三十):软件下载后存放位置
30
客快物流大数据项目(三十一):常用工具安装
31
客快物流大数据项目(三十二):安装CDH-6.2.1和初始化CDH服务所需的MySQL库
32
客快物流大数据项目(三十三):安装Server和Agent
33
客快物流大数据项目(三十四):CDH开始安装
34
客快物流大数据项目(三十五):CDH使用注意
35
客快物流大数据项目(三十六):安装ElasticSearch-7.6.1
36
客快物流大数据项目(三十七):安装Kinaba-7.6.1
37
客快物流大数据项目(三十八):安装Azkaban-3.71.0
38
客快物流大数据项目(三十九):Hue安装
39
客快物流大数据项目(四十):ETL实现方案
40
客快物流大数据项目(四十一):Kudu入门介绍
41
客快物流大数据项目(四十二):Java代码操作Kudu
42
客快物流大数据项目(四十三):kudu的分区方式
43
客快物流大数据项目(四十四):Spark操作Kudu创建表
44
客快物流大数据项目(四十五):Spark操作Kudu DML操作
45
客快物流大数据项目(四十六):Spark操作Kudu dataFrame操作kudu
46
客快物流大数据项目(四十七):Spark操作Kudu Native RDD
47
客快物流大数据项目(四十八):Spark操作Kudu 修改表
48
客快物流大数据项目(四十九):开发环境初始化
49
客快物流大数据项目(五十):项目框架初始化
50
客快物流大数据项目(五十一):数据库表分析

客快物流大数据项目(三十一):常用工具安装

目录

常用工具安装

一、安装依赖包

二、安装Apache

三、​​​​​​​添加MySQL驱动包

四、​​​​​​​禁用交换空间

五、​​​​​​​禁用透明页

六、配置本地Parcel存储库

七、​​​​​​​配置CM的YUM源

八、​​​​​​​安装CDH所需要的依赖包

九、​​​​​​​安装MySQL

十、​​​​​​​安装JDK

常用工具安装

一、安装依赖包

如果不提前安装这些依赖包,在后面安装CM的时候可能会出现异常。

代码语言:javascript
复制
yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse

yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm

yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

二、​​​​​​​安装Apache

代码语言:javascript
复制
yum install httpd createrepo
systemctl start httpd
systemctl status httpd

三、​​​​​​​添加MySQL驱动包

代码语言:javascript
复制
mkdir /usr/share/java
cp /export/softwares/jars/mysql-connector-java-5.1.44.jar /usr/share/java/mysql-connector-java.jar

四、​​​​​​​禁用交换空间

临时生效:

sysctl -w vm.swappiness=10

永久生效:

echo "vm.swappiness=10" >> /etc/sysctl.conf

五、​​​​​​​禁用透明页

临时生效:

echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled

永久生效:

echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

六、配置本地Parcel存储库

创建/opt/cloudera/parcel-repo目录,将下载好的parcel和manifest.json文件放置到该目录,然后执行下面的命令:

mkdir -p /opt/cloudera/parcel-repo

cd /export/softwares/cdh-6.2.1/

cp *parcel* manifest.json /opt/cloudera/parcel-repo/

注意:需要将.sha1校验文件复制一份为.sha

cp CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

mkdir -p /var/www/html/cloudera-repo

cd /export/softwares/cdh-6.2.1/

cp *rpm RPM-GPG-KEY-cloudera manifest.json /var/www/html/cloudera-repo

cd /var/www/html/cloudera-repo

执行:createrepo .

七、​​​​​​​配置CM的YUM源

vi /etc/yum.repos.d/cloudera-manager.repo(此时不存在该文件,确保文件内容为如下)

[cloudera-manager] name=Cloudera Manager 6.2.1 baseurl=http://node2/cloudera-repo/ gpgkey=http://node2/cloudera-repo/RPM-GPG-KEY-cloudera gpgcheck=1 enabled=1 autorefresh=0 type=rpm-md

然后执行:yum clean all && yum makecache

八、​​​​​​​安装CDH所需要的依赖包

代码语言:javascript
复制
yum install edhat-lsb portmap mod_ssl openssl-devel python-psycopg2 MySQL-python chkconfig bind-utils libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs

九、​​​​​​​安装MySQL

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

yum localinstall mysql57-community-release-el7-8.noarch.rpm yum install mysql-community-server systemctl start mysqld systemctl status mysqld

grep 'temporary password' /var/log/mysqld.log            //会生成临时密码

mysql -uroot -p”sZlks?>yp2L>”

取消mysql密码规范限制

set global validate_password_policy=0;

set global validate_password_length=1;

重设密码

alter user 'root'@'localhost' identified by '123456';

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

flush privileges;

退出mysql客户端,使用新密码重新登录

mysql -uroot -p123456

十、​​​​​​​安装JDK

tar -zxf /export/softwares/jdk-8u221-linux-x64.tar.gz -C /usr/java/ ln -s /usr/java/jdk1.8.0_221 /usr/java/jdk

vim /etc/profile

export JAVA_HOME=/usr/java/jdk export PATH=.:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

source /etc/profile

下一篇
举报
领券