大数据-Taier部署
前言
Taier
文档：https://dtstack.github.io/Taier/docs/guides/introduction/
视频：https://www.bilibili.com/video/BV13L4y1L71w/
源码：https://github.com/DTStack/Taier
依赖
- JDK 版本: JDK 1.8 +
- MySQL 版本: MySQL 5.7.33 +
- Zookeeper 版本: Zookeeper 3.5.7 +
- DatasourceX（数据源插件）：latest
- Chunjun（数据同步插件）：1.12
- Flink On Yarn
- 数据同步任务依赖
- 版本：
flink-1.12
- Spark On Yarn
- Spark SQL 任务运行依赖
- 版本：
spark-2.1.3
DatasourceX
https://github.com/DTStack/DatasourceX/releases/tag/v4.3.2
链接：https://pan.baidu.com/s/16iXI71BKtvzsaABvjdhEzg 提取码：psvm
Chunjun
Docker部署
启动ZK
启动ZK
%ZK_HOME%/bin/zkServer.cmd进入
%ZK_HOME%/bin/zkCli.cmd输入命令
#查看zk的根目录kafka相关节点
ls /
#查看kafka节点
ls /brokers
ls /brokers/topics
create /zk "test"
set /zk "zkbak"
get /zk数据库
注意Mysql的版本
https://dev.mysql.com/downloads/windows/installer/5.7.html
否则无法正常导入。
数据库中添加taier
导入如下SQL
https://github.com/DTStack/Taier/blob/master/sql/init.sql
仅使用taier的web和ui，确保以下环境正常:
- 外部的mysql，初始化好taier的数据库数据
- 外部的zookeeper，可以正常连接
启动
获取taier镜像
docker pull dtopensource/taier:1.2
docker pull dtopensource/taier-ui:1.2启动web容器,mysql和zookeeper的配置信息根据实际环境调整
docker run -itd -p 8090:8090 --env ZK_HOST=172.19.144.1 --env ZK_PORT=2181 --env DB_HOST=172.19.144.1 --env DB_PORT=3306 --env DB_ROOT=root --env DB_PASSWORD=123456 --env DATASOURCEX_PATH=/usr/taier/datasourcex -v D:\\Tools\\BigData\\DatasourceX:/usr/taier/datasourcex dtopensource/taier:1.2查看容器数据
docker inspect 2fed98bad599启动ui容器 TAIER_IP配置为启动的web容器的ip
docker run -itd -p 80:80 --env TAIER_IP=172.17.0.2 --env TAIER_PORT=8090 dtopensource/taier-ui:1.2当命令执行完成后，在浏览器上直接访问
但是Windows环境下无法运行，Windows上的Docker是在虚拟环境中运行的，所以要用虚拟环境的IP
image-20221028154834833
使用docker-compose
通过docker-compose启动
docker-compose.yml
version: '3'
services:
taier-db:
image: dtopensource/taier-mysql:1.2
environment:
MYSQL_DATABASE: taier
MYSQL_ROOT_PASSWORD: 123456
taier-zk:
image: zookeeper:3.4.9
taier-ui:
image: dtopensource/taier-ui:1.2
ports:
- 80:80
environment:
TAIER_IP: taier
TAIER_PORT: 8090
taier:
image: dtopensource/taier:1.2
environment:
ZK_HOST: taier-zk
ZK_PORT: 2181
DB_HOST: taier-db
DB_PORT: 3306
DB_ROOT: root
DB_PASSWORD: 123456
DATASOURCEX_PATH: /usr/taier/datasourcex
volumes:
- D:\\Tools\\BigData\\DatasourceX\\pluginLibs:/usr/taier/datasourcex进入docker-compose目录，执行
docker-compose up -d当命令执行完成后，在浏览器上直接访问
用户名密码：
- admin@dtstack.com
- admin123
查看服务
docker-compose ps查看配置的插件是否生效
# 在运行中的容器里运行命令
docker exec -t -i taier-taier-1 /bin/bash
cd /usr/taier/datasourcex
ls
# 退出
exit查看日志
docker-compose logs停止服务
docker-compose down本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2022-10-25，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读