hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译

从大数据到人工智能

发布于 2022-01-19 08:34:26

7750

发布于 2022-01-19 08:34:26

文章被收录于专栏：大数据-BigData

新增hdp仓库

在项目根目录下的pom文件中新增：

    <repository>
      <id>hdp</id>
      <url>https://repo.hortonworks.com/content/repositories/releases/</url>
    </repository>Copy

其他pom文件修改

hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT，在仓库中都找不到，将其修改为使用项目指定的版本。

具体有如下子项目：

hudi-hadoop-mr中的hive-jdbc依赖
hudi-utilities-bundle中的hive-jdbc依赖
hudi-integ-test-bundle中的hive-jdbc依赖

排除掉

      <exclusions>
        <exclusion>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
        </exclusion>
      </exclusions>Copy

新增

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
      <version>${hadoop.version}</version>
    </dependency>Copy

编译时部分jar包在仓库中找不到或下载慢，可以从原始rpm包中将其拷贝到编译的机器，并安装到本地，例如下述jar包，例如hive-jdbc-3.1.0.3.1.4.0-315-standalone.jar等。

编译命令

mvn clean install -DskipTests -Dhadoop.version=3.1.1.3.1.4.0-315 -Dhive.version=3.1.0.3.1.4.0-315 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dspark.version=3.0.1Copy