在项目根目录下的pom文件中新增:
<repository>
<id>hdp</id>
<url>https://repo.hortonworks.com/content/repositories/releases/</url>
</repository>Copy
hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT,在仓库中都找不到,将其修改为使用项目指定的版本。
具体有如下子项目:
排除掉
<exclusions>
<exclusion>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-server-resourcemanager</artifactId>
</exclusion>
</exclusions>Copy
新增
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-yarn-server-resourcemanager</artifactId>
<version>${hadoop.version}</version>
</dependency>Copy
编译时部分jar包在仓库中找不到或下载慢,可以从原始rpm包中将其拷贝到编译的机器,并安装到本地,例如下述jar包,例如hive-jdbc-3.1.0.3.1.4.0-315-standalone.jar等。
mvn clean install -DskipTests -Dhadoop.version=3.1.1.3.1.4.0-315 -Dhive.version=3.1.0.3.1.4.0-315 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dspark.version=3.0.1Copy
本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。