Apache Tez是构建于Apache Hadoop YARN上,基于有向无环图进行数据处理的框架。
主要设计主题:
通过允许像Apache Hive和Apache Pig这样的项目运行复杂的DAG任务,Tez可以用来处理数据,以前需要多个MR任务,现在只需要一个Tez任务,如下所示。
https://tez.apache.org/releases/index.html
对于Tez版本0.8.3和更高,Tez需要Apache Hadoop版本2.6.0或更高。对于Tez版本0.9.0及更高版本,Tez需要Apache Hadoop版本2.7.0或更高。所以说,我们在选用tez时,是需要先确定我们的hadoop版本的。
操作系统:centos 7.6
CPU架构:x86_64
protobuf-2.5.0安装
yum install protobuf protobuf-develCopy
在确定我们使用的hadoop版本之后,选择合适的tez进行源码编译。这边以
为例对tez进行源码编译。
源码下载与解压
wget https://mirror.olnevhost.net/pub/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz
tar zxvf apache-tez-0.9.2-src.tar.gz
Copy
源码编译
cd apache-tez-0.9.2-src && mvn clean package -Dtar -Dhadoop.version=3.2.0 -DskipTestsCopy
编译完成之后,得到tez-dist/target/tez-0.9.2.tar.gz
首先确保hadoop正常安装,包括hdfs和yarn
将tez-0.9.2.tar.gz上传到hdfs的/app/tez目录
hdfs dfs -put tez-0.9.2.tar.gz /app/tez/
Copy
新建tez目录,并将tez-0.9.2.tar.gz复制到tez钟
mkdir -p /data/tez/conf
cp tez-0.9.2.tar.gz /data/tez
cd /data/tez && tar zvf tez-0.9.2.tar.gzCopy
新建tez-site.xml,内容如下
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->
<configuration>
<property>
<name>tez.lib.uris</name>
<value>/app/tez/tez-0.9.2.tar.gz</value>
</property>
</configuration>
Copy
修改/etc/profile,新增
export TEZ_CONF_DIR=/data/tez/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$TEZ_CONF_DIR:/data/tez/*:/data/tez/lib/*Copy
修改mapred-site.xml,将
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>Copy
改为
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>Copy
执行测试脚本:
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/ output-1Copy
得到结果:
本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。