使用spark-shell和HiveContext,我试图显示所有的蜂巢表。但是,当我启动thirft server并使用beeline检查所有表时,它在那里是空的。在spark文档中,它说:(1)如果我将hive-site.xml放到conf/中,那么用于DataFrame的saveAsTable方法将持久化表以保存在xml文件中指定的单元格。当我使用spark-shell时,我会看到以下一行:
INFO
我可以使用SparkSession获取Hive中的表列表,或者访问Hive表,如下面的代码所示。现在我的问题是,在这种情况下,我是否在使用带有Hive上下文的Spark?或者,要在Spark中使用hive上下文,我必须直接使用HiveContext对象访问表,并执行其他与Hive相关的功能吗?spark.catalog.listTables.show
val personnelTable = <em
默认设置 spark-shell --conf spark.hadoop.metastore.catalog.default=hivedf.write.saveAsTable("db.table") 在尝试写入内部/托管/事务性表时失败(请参阅How to write a table to hive from spark without using the war