这是一篇工具类的文章,工欲善其事必先利其器,要分析调试hive源码,必须搭建一套hive的运行环境。还记得第一次搭建hive源码调试环境,用了一个月的时间,才完全跑通整个调试过程。中间遇到各种各样莫名奇妙的问题,也有好多次想放弃,幸好坚持了下来。
linux版本:centos 6.5
Java版本:jdk1.8
Hive版本:hive-2.1.1
Hadoop版本:hadoop-2.7.3
1、Jdk环境安装
下载 jdk-8u131-linux-x64.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
source /etc/profile 使生效
2、HADOOP安装部署
我下载的是 hadoop-2.7.3.tar.gz,官网在2.5之后默认提供的就是64位的,这里直接下载下来用即可
下载:http://hadoop.apache.org/
source /etc/profile 使生效
cd $HADOOP_HOME/etc/hadoop/
vim core-site.xml
vim hdfs-site.xml
vim hadoop-env.sh
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
vim yarn-site.xml
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys
chmod 0600~/.ssh/authorized_keys
访问 http://192.168.146.128:50070
3、HIVE安装部署
Hive2.1.1下载 https://hive.apache.org/
apache-hive-2.1.1-bin.tar.gz 安装包
apache-hive-2.1.1-src.tar.gz 源码包 (后面编译源码、调试源码会用到)
vim /etc/profile
source /etc/profile 使生效
下载:https://dev.mysql.com/downloads/mysql/5.6.html#downloads
MySQL-client-5.6.42-1.el6.x86_64.rpm
MySQL-server-5.6.42-1.el6.x86_64.rpm
rpm -ivh MySQL-server-5.6.42-1.el6.x86_64.rpm 安装mysql服务端
rpm -ivh MySQL-client-5.6.42-1.el6.x86_64.rpm 安装mysql客户端
service mysql start启动mysql 服务端
cat /root/.mysql_secret 查看mysql初始化密码
用初始化密码登录并修改密码
mysql -u root -p_tcke0WJxDyw02TS
set password=PASSWORD('123456');
测试:
mysql -u root -p123456
cd /opt/soft/hive/conf
vim hive-site.xml
https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.47
mysql-connector-java-5.1.47.jar
把mysql的jdbc驱动放置到hive的lib目录下
schematool -dbType mysql -initSchema
(完)