目标:掌握项目业务需求
实施
项目行业:工业大数据
项目名称:加油站服务商数据运营管理平台
整体需求
基于加油站的设备安装、维修、巡检、改造等数据进行统计分析
支撑加油站站点的设备维护需求以及售后服务的呼叫中心数据分析
提高服务商服务加油站的服务质量
保障零部件的仓储物流及供应链的需求
实现服务商的所有成本运营核算
具体需求
报表
小结
这个项目属于哪个行业?
目标:了解Docker的基本功能和设计
路径
实施
Docker
Docker的设计
定义:Docker是一个开源的应用容器引擎,使用GO语言开发,基于Linux内核的cgroup,namespace,Union FS等技术,对应用程序进行封装隔离,并且独立于宿主机与其他进程,这种运行时封装的状态称为容器。
多环境保持一致性,消除了环境差异
功能:“Build,Ship and Run Any App,Anywhere”
架构
组成
宿主机:安装Docker的那台实际的物理机器
docker client 【客户端】:用于连接服务端,提交命令给服务端
#拉取镜像
docker pull ……
#启动容器
docker run ……
#进入容器
docker exec ……
#查看容器
docker ps ……
docker daemon【服务端】:用于接收客户端请求,实现所有容器管理操作
docker image【镜像】:用于安装APP的软件库,简单点理解为软件的安装包
docker container 【容器】:用于独立运行、隔离每个APP的单元,相当于每个独立的Linux系统
小结
- **none模式**:允许自定义每个容器的网络配置及网卡信息,每个容器独立一个网络
- **bridge模式**:构建虚拟网络桥,所有容器都可以基于网络桥来构建自己的网络配置
选型
管理
了解即可,不用操作
创建
docker network create --subnet=172.33.0.0/24 docker-bd0
查看模式
docker network ls
删除
docker network rm ……
小结
目标:了解docker的基本使用
路径
实施
docker管理
默认开机自启
了解即可,不用操作
启动服务
systemctl start docker
查看状态
systemctl status docker
关闭服务
systemctl stop docker
image管理
了解即可,不用操作
添加镜像
docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g
列举镜像
docker images
移除镜像
docker rmi ……
container管理
熟悉常用操作
创建并启动container:不用做
docker run --net docker-bd0 --ip 172.33.0.100 -d -p 1521:1521 --name oracle 3fa112fd3642
列举container
#列举所有的
docker ps -a
#列举正在运行的
docker ps
进入container
docker exec -it Name bash
退出container
exit
删除container
docker rm ……
小结
目标:了解项目的集群软件规划
实施
172.33.0.100 oracle.bigdata.cn
172.33.0.110 sqoop.bigdata.cn
172.33.0.121 hadoop.bigdata.cn
172.33.0.131 hive.bigdata.cn
172.33.0.133 spark.bigdata.cn
小结
目标:根据需求实现项目环境配置
实施
注意:所有软件Docker、Hadoop、Hive、Spark、Sqoop都已经装好,不需要额外安装配置,启动即可
配置网络:如果你的VM Nat网络不是88网段,请按照以下修改
修改Linux虚拟机的ens33网卡,网卡和网关,修改为自己的网段
vim /etc/sysconfig/network-scripts/ifcfg-ens33
重启网卡
systemctl restart network
查看是否修改成功
ifconfig
配置映射
修改Linux映射,修改为自己的网段
vim /etc/hosts
配置Windows上的映射,方便使用主机名访问【把以前的有冲突的注释掉】
192.168.88.100 oracle.bigdata.cn 192.168.88.100 hadoop.bigdata.cn 192.168.88.100 hive.bigdata.cn 192.168.88.100 mysql.bigdata.cn 192.168.88.100 node1
![image-20210820155305287](https://img-blog.csdnimg.cn/img_convert/5d91eae2217116ace3aaceb9a5f03e92.png)
小结
目标:实现项目Oracle环境的测试
实施
启动
docker start oracle
进入
docker exec -it oracle bash
连接
#进入客户端命令行:/nolog表示只打开,不登录,不用输入用户名和密码
sqlplus /nolog
#登陆连接服务端:/ as sysdba表示使用系统用户登录
conn / as sysdba
测试
select TABLE_NAME from all_tables where TABLE_NAME LIKE ‘CISS_%’;
- 退出
exit
- 远程连接:DG
- step1:安装DG
- step2:创建连接
- SID:helowin
- 用户名:ciss
- 密码:123456
![image-20210820163624308](https://img-blog.csdnimg.cn/img_convert/b53444744b1b7e1a42cfc342618725ed.png)
step5:测试
关闭
docker stop oracle
小结
目标:实现项目Hadoop环境的测试
实施
启动
docker start hadoop
进入
docker exec -it hadoop bash
查看进程
jps
启动进程
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
访问页面
退出
exit
关闭
docker stop hadoop
小结
目标:实现项目Hive环境的测试
实施
启动Hive容器
docker start hive
进入Hive容器
docker exec -it hive bash
source /etc/profile
连接
beeline
!connect jdbc:hive2://hive.bigdata.cn:10000
账号为root,密码为123456
SQL测试
select count(1);
关闭Hive容器
docker stop hive
小结
目标:实现项目Spark环境的测试
实施
启动Spark容器
docker start spark
进入Spark容器
docker exec -it spark bash
source /etc/profile
启动Thrift Server【默认已经启动】
start-thriftserver.sh \
--name sparksql-thrift-server \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--hiveconf hive.server2.thrift.http.port=10001 \
--num-executors 3 \
--executor-memory 1g \
--conf spark.sql.shuffle.partitions=2
测试
beeline -u jdbc:hive2://spark.bigdata.cn:10001 -n root -p 123456
select count(1);
关闭Spark容器
docker stop spark
小结
目标:实现项目Sqoop环境的测试
实施
启动Sqoop容器
docker start sqoop
进入Sqoop容器
docker exec -it sqoop bash
source /etc/profile
测试
sqoop list-databases \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456
关闭Sqoop容器
docker stop sqoop
小结
Python面向对象
Hive中建表语法
create [external] table tbname(
字段 类型 comment,
)
comment
partitioned by
clustered by col into N buckets
row format
stored as textfile
location
提前预习:EntranceApp.py