前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >impala的安装部署

impala的安装部署

作者头像
用户4870038
发布于 2021-02-05 10:18:54
2.5K0
发布于 2021-02-05 10:18:54
举报
文章被收录于专栏：MyBatis入门案例-注解MyBatis入门案例-注解

文章目录

安装impala的之前

集群提前安装好 hadoop，hive。

hive安装包scp在所有需要安装impala的节点上，因为impala需要引用hive的依赖包。

每个节点需要先安装 nc

代码语言：javascript
复制
yum -y install nc
在这里插入图片描述
在这里插入图片描述

安装impala的节点至少需要12G的剩余空间

在这里插入图片描述
在这里插入图片描述

软件包的上传解压

上传安装包

因为impala安装包大于4G，所有需要另行上传 登录ip

在这里插入图片描述
在这里插入图片描述

选择对应的安装包，上传到虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

解压安装包

代码语言：javascript
复制
cd /export/servers/
tar -zxvf /export/softwares/cdh5.14.0-centos6.tar.gz
在这里插入图片描述
在这里插入图片描述

解压的安装包

在这里插入图片描述
在这里插入图片描述

制作网络资源库（node03是主节点）

安装httpd服务,启动httpd服务，并设置开机自启

代码语言：javascript
复制
yum -y install httpd
service httpd start
chkconfig httpd on

设置软连接

代码语言：javascript
复制
cd /var/www/html/
ln -s /export/servers/cdh/5.14.0/ cdh

修改配置文件

代码语言：javascript
复制
cd /etc/yum.repos.d/
mkdir bk
mv *.repo bk
cp bk/CentOS-Media.repo cdh.repo
vim cdh.repo

内容如下

在这里插入图片描述
在这里插入图片描述

其他两个节点也配置

安装impala

在主节点安装（node03）

代码语言：javascript
复制
yum install -y impala impala-server impala-state-store impala-catalog impala-shell

在从节点安装的（node01，node02）

代码语言：javascript
复制
yum install -y impala-server

修改hive配置文件

代码语言：javascript
复制
vim /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml

在文件里添加如下配置

代码语言：javascript
复制
<property>     
	<name>hive.metastore.uris</name>
	<value>thrift://node03:9083</value>
</property>

将配置文件cp给其他两个机器。

代码语言：javascript
复制
cd /export/servers/hive-1.1.0-cdh5.14.0/conf/
scp hive-site.xml node02:$PWD 
scp hive-site.xml node03:$PWD

注意：这里配置的是那个节点，最后启动metastore时，必须在这个节点启动

修改hadoop配置文件

所有节点先创建 hdfs-sockets 文件夹

代码语言：javascript
复制
mkdir -p /var/run/hdfs-sockets
vim /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop//hdfs-site.xml

在文件里添加如下配置

代码语言：javascript
复制
	<property>
		<name>dfs.client.read.shortcircuit</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.domain.socket.path</name>
		<value>/var/run/hdfs-sockets/dn</value>
	</property>
	<property>
		<name>dfs.client.file-block-storage-locations.timeout.millis</name>
		<value>10000</value>
	</property>
	<property>
		<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
		<value>true</value>
	</property>

把更新hadoop的配置文件，scp给其他机器。

代码语言：javascript
复制
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp hdfs-site.xml node02:$PWD
scp hdfs-site.xml node03:$PWD

复制hadoop、hive的配置文件到impala配置文件

代码语言：javascript
复制
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /etc/impala/conf         
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /etc/impala/conf
cp /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml /etc/impala/conf

修改impala的配置文件

代码语言：javascript
复制
vim /etc/default/impala

修改内容如下

代码语言：javascript
复制
IMPALA_CATALOG_SERVICE_HOST=node03
IMPALA_STATE_STORE_HOST=node03

添加mysql驱动

在这里插入图片描述
在这里插入图片描述

取消MYSQL_CONNECTOR_JAR前面的注释 创建有效的软连接

代码语言：javascript
复制
ln -s /export/servers/hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar

修改bigtop配置(三个节点都要执行)

代码语言：javascript
复制
 vim /etc/default/bigtop-utils
在这里插入图片描述
在这里插入图片描述

重启hadoop、hive集群

在集群的主节点node01上启动集群

代码语言：javascript
复制
start-all.sh

在node03启动hive、metastore

代码语言：javascript
复制
hive --service hiveserver2 &
hive --service metastore &

启动、关闭impala服务

启动： 在impala的主节点node03启动以下三个服务进程

代码语言：javascript
复制
service impala-state-store start
service impala-catalog start
service impala-server start

在从节点node01、node02上启动以下服务进程

代码语言：javascript
复制
service  impala-server  start

关闭： 在impala的主节点node03停止以下三个服务进程

代码语言：javascript
复制
service impala-state-store stop
service impala-catalog stop
service impala-server stop

在从节点node01、node02上停止以下服务进程

代码语言：javascript
复制
service  impala-server  stop

进入impala中，查看数据库发现与hive中的数据库不一样

在这里插入图片描述
在这里插入图片描述

删除 /usr/bin/hive 就可以了

代码语言：javascript
复制
rm -rf /usr/bin/hive

在从节点node02、node03执行命令 hdfs dfs -ls / 与主节点node01不一样

删除 /usr/bin/hadoop 就可以了

代码语言：javascript
复制
rm -rf /usr/bin/hadoop
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2019/12/11 ，如有侵权请联系 cloudcommunity@tencent.com 删除
hive
hadoop
node.js
大数据
数据库

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

hive
hadoop
node.js
大数据
数据库
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 文章目录
  • 安装impala的之前
    • 集群提前安装好 hadoop，hive。
      • 每个节点需要先安装 nc
        • 安装impala的节点至少需要12G的剩余空间
        • 软件包的上传解压
          • 上传安装包
            • 解压安装包
            • 制作网络资源库（node03是主节点）
            • 安装impala
            • 修改hive配置文件
            • 修改hadoop配置文件
            • 复制hadoop、hive的配置文件到impala配置文件
            • 修改impala的配置文件
            • 修改bigtop配置(三个节点都要执行)
            • 重启hadoop、hive集群
            • 启动、关闭impala服务
            • 进入impala中，查看数据库发现与hive中的数据库不一样
            • 在从节点node02、node03执行命令 hdfs dfs -ls / 与主节点node01不一样
            相关产品与服务
            数据库
            云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建，轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量，更专注于业务发展，让企业一站式享受数据上云及分布式架构的技术红利！
            产品介绍
            领券

            腾讯云开发者

            扫码关注腾讯云开发者

            扫码关注腾讯云开发者

            领取腾讯云代金券

            热门产品

            热门推荐

            更多推荐

            Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

            深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

            腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

            Copyright © 2013 - 2024 Tencent Cloud.

            All Rights Reserved. 腾讯云 版权所有

            登录 后参与评论