Alluxio集群搭建并整合MapReduce/Hive/Spark
原创Alluxio集群搭建并整合MapReduce/Hive/Spark
原创
说明
本文描述问题及解决方法同样适用于 弹性 MapReduce（EMR）。
环境配置
版本
Linux环境：centos7.4
CDH：5.16.1
Java：1.8.0_131
Alluxio：2.3.0
配置
机器数量：50
内存：64G
硬盘：4T
CPU核心数：32
背景
Alluxio是世界上第一个虚拟的分布式存储系统，以内存速度统一了数据访问。它为计算框架和存储系统构建了桥梁，使应用程序能够通过一个公共接口连接到许多存储系统。Alluxio以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。
其优势
● 通过简化应用程序访问其数据的方式（无论数据是什么格式或位置），Alluxio 能够帮助克服从数据中提取信息所面临的困难。使用 Alluxio 的优势包括：
● 内存速度 I/O：Alluxio 能够用作分布式共享缓存服务，这样与 Alluxio 通信的计算应用程序可以透明地缓存频繁访问的数据（尤其是从远程位置），以提供内存级 I/O 吞吐率。
● 简化云存储和对象存储接入：与传统文件系统相比，云存储系统和对象存储系统使用不同的语义，这些语义对性能的影响也不同于传统文件系统。常见的文件系统操作（如列出目录和重命名）通常会导致显著的性能开销。当访问云存储中的数据时，应用程序没有节点级数据本地性或跨应用程序缓存。将 Alluxio 与云存储或对象存储一起部署可以缓解这些问题，因为这样将从 Alluxio 中检索读取数据，而不是从底层云存储或对象存储中检索读取。
● 简化数据管理：Alluxio 提供对多数据源的单点访问。除了连接不同类型的数据源之外，Alluxio 还允许用户同时连接到不同版本的同一存储系统，如多个版本的 HDFS，并且无需复杂的系统配置和管理。
● 应用程序部署简易：Alluxio 管理应用程序和文件或对象存储之间的通信，将应用程序的数据访问请求转换为底层存储接口的请求。Alluxio 与 Hadoop 兼容，现有的数据分析应用程序，如 Spark 和 MapReduce 程序，无需更改任何代码就能在 Alluxio 上运行。
编译
下载源码
git clone git://github.com/alluxio/alluxio.git编译开源Hadoop版本
mvn clean install -Phadoop-2 -Dhadoop.version=2.6.0 -DskipTests编译CDH版本
mvn clean install -Phadoop-2 -Dhadoop.version=2.6.0-cdh5.16.1 -DskipTests
编译成功。
初始化Alluxio
修改配置文件
cp conf/alluxio-site.properties.template conf/alluxio-site.properties敲黑板
● 由于博主这边的集群使用了安全权限控制，此处涉及四条Kerberos相关的配置，如集群没有使用安全权限控制需自行忽略。
● 如有Alluxio整合Kerberos权限控制的需求，需添加这四条配置。
vim alluxio-site.properties
vim masters
vim workers
分发Alluxio
- 复制文件夹到每台机器
- 各个机器alluxio用户相互之间免密登陆
软连接配置
为每个机器设置java软连接，需要在这些目录其中之一配置软连接
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/opt/spark/bin:/opt/spark/sbin:/root/bin如果配置好了可以忽略，否则：
ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java如果这里没有配置好的话，后面步骤就会出现如下错误
Error: Cannot find 'java' on path or under $JAVA_HOME/bin.创建ramdisk文件夹
之前配置的文件夹路径，需要先手动创建出来
格式化Alluxio文件系统
./bin/alluxio format
启动
./bin/alluxio-start.sh all Mount如果是root用户起的，使用Mount，如果是非root用户起的，用SudoMount。第一次需要这样，之后启动直接./bin/alluxio-start.sh all就可以。
经过较长时间的等待，启动完成
查看web端
http://ip:19999
使用 Alluxio
这里可以把它简单理解为一个文件系统，操作这个文件系统和HDFS非常相似
./bin/alluxio fs 操作命令比如：
./bin/alluxio fs mkdir /test这里使用比较简单，大部分参考HDFS操作命令即可。
集成 MapReduce
修改配置文件
Hadoop的core-site.xml
<!--alluxio集成mapreduce的操作-->
<property>
<name>fs.alluxio.impl</name>
<value>alluxio.hadoop.FileSystem</value>
<description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
</property>
<property>
<name>fs.AbstractFileSystem.alluxio.impl</name>
<value>alluxio.hadoop.AlluxioFileSystem</value>
<description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
</property>hadoop的hadoop-env.sh
export HADOOP_CLASSPATH=/opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar:${HADOOP_CLASSPATH}拷贝jar包到hadoop
cp /opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar /opt/cloudera/parcels/CDH/lib/hadoop/lib/● 分发更新后的hadoop配置文件和lib的jar包到每一个hadoop集群节点，重启hadoop和alluxio
检查集成mapreduce是否成功
integration/checker/bin/alluxio-checker.sh mapreduce集成 Hive
修改配置文件
Hive的hive-env.sh
export HIVE_AUX_JARS_PATH=/opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar:${HIVE_AUX_JARS_PATH}在Alluxio上创建Hive表
有不同的方法可以将Hive与Alluxio整合。这一节讨论的是如何将Alluxio作为文件系统的一员（像HDFS）来存储Hive表。这些表可以是内部的或外部的，新创建的表或HDFS中已存在的表。
使用文件在Alluxio中创建新表
Hive可以使用存储在Alluxio中的文件来创建新表。设置非常直接并且独立于其他的Hive表。一个示例就是将频繁使用的Hive表存在Alluxio上，从而通过直接从内存中读文件获得高吞吐量和低延迟。
这里有一个示例展示了在Alluxio上创建Hive的内部表。你可以从http://grouplens.org/datasets/movielens/ 下载数据文件（如：ml-100k.zip）。然后接下该文件，并且将文件u.user上传到Alluxio的ml-100k/下：
./bin/alluxio fs mkdir /ml-100k
./bin/alluxio fs copyFromLocal ~/ml-100k/u.user alluxio://cdh01:19998//ml-100k然后创建新的内部表：
hive> CREATE TABLE u_user (
userid INT,
age INT,
gender CHAR(1),
occupation STRING,
zipcode STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\u001'
LOCATION 'alluxio://cdh01:19998//ml-100k';在ALluxio中使用已经存储在HDFS中的表
下面的HiveQL语句会将表数据的存储位置从HDFS转移到Alluxio中：
hive> alter table u_user set location "alluxio://cdh01:19998/user/hive/warehouse/u_user";将表的元数据恢复到HDFS
下面的HiveQL语句可以将表的存储位置恢复到HDFS中：
hive> alter table TABLE_NAME set location "hdfs://cdh01:8020/user/hive/warehouse/u_user";集成 Spark
修改配置文件
Spark的spark-defaults.conf
spark.driver.extraClassPath /opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.ja
spark.executor.extraClassPath /opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar拷贝jar包到spark
cp /opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar /opt/cloudera/parcels/CDH/lib/spark/lib/
cp /opt/alluxio/client/alluxio-2.3.0-SNAPSHOT-client.jar /opt/cloudera/parcels/CDH/jars/● 分发更新后的配置文件和lib的jar包到每一个hadoop集群节点，重启相关服务。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。