湖仓一体电商项目（二）：项目使用技术及版本和基础环境准备
原创湖仓一体电商项目（二）：项目使用技术及版本和基础环境准备
原创
Lansonli
发布于 2022-07-31 08:09:04
发布于 2022-07-31 08:09:04
文章被收录于专栏：Lansonli技术博客
项目使用技术及版本和基础环境准备
一、项目使用技术及版本
下表列出项目中使用的大数据技术组件及各个组件的版本，如下:
使用技术 | 版本 |
|---|---|
zookeeper | 3.4.13 |
HDFS | 3.1.4/3.2.2 |
Hive | 3.1.2（MySQL 5.7.32） |
iceberg | 0.11.1 |
Hbase | 2.2.6 |
phoenix | 5.0.0 |
kafka | 0.11.0.3 |
redis | 2.8.18 |
flink | 1.11.6 |
flume | 1.9.0 |
maxwell | 1.28.2 |
clickhouse | 21.9.4.35 |
二、项目基础环境准备
这里我们使用5台节点来安装各个大数据组件，每台节点给了3G内存，4个core，并且每台节点已经关闭防火墙、配置主机名、设置yum源、各个节点时间同步、各个节点两两免密、安装JDK操作。5台节点信息如下：
节点IP | 节点名称 |
|---|---|
192.168.179.4 | node1 |
192.168.179.5 | node2 |
192.168.179.6 | node3 |
192.168.179.7 | node4 |
192.168.179.8 | node5 |
下篇一一进行基础技术组件搭建。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
数据湖计算 DLC
数据湖计算DLC（Data Lake Compute，DLC）提供了敏捷高效的数据湖分析与计算服务。服务采用无服务器架构（Serverless），开箱即用。使用标准SQL语法即可完成数据处理、多源数据联合计算等数据工作，有效降低用户数据分析服务搭建成本及使用成本，提高企业数据敏捷度。
腾讯云开发者
