问预构建的Spark2.1.0在启动星火壳时创建metastore_db文件夹和derby.log
EN

Stack Overflow用户

提问于 2017-01-13 11:01:33

回答 2查看 6.4K关注 0票数 1

我刚刚从Spark2.0.2升级到Spark2.1.0(下载Hadoop2.7及更高版本的预构建版本)。没有安装蜂巢。

在启动星体时，将在启动位置创建metastore_db/文件夹和derby.log文件，以及一堆警告日志(这些日志在上一个版本中没有打印)。

对调试日志的仔细检查表明，Spark2.1.0试图初始化一个HiveMetastoreConnection：

17/01/13 09:14:44 INFO HiveUtils: Initializing HiveMetastoreConnection version 1.2.1 using Spark classes.

Spark2.0.2的类似调试日志不显示HiveMetastoreConnection的任何初始化。

这是有意的行为吗？这是否与spark.sql.warehouse.dir现在是会话间共享的静态配置有关？如何避免这种情况，因为我没有安装Hive？

提前感谢！

发布于 2017-05-18 13:12:09

对于未来的谷歌人来说:在每个工作目录中创建metastore_db和derby.log的实际根本原因是derby.system.home的默认值。

这可以在spark-defaults.conf中更改，请参见这里。

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41633084

复制

相似问题

问预构建的Spark2.1.0在启动星火壳时创建metastore_db文件夹和derby.logEN