如何使用PySpark检查Hive表是否存在
如何使用PySpark检查Hive表是否存在
提问于 2019-09-23 17:25:58
我希望使用schemaname.tablename检查Hive中是否存在表pysparkSQL。
Scala spark.catalog.tableExists("schemaname.tablename").However中有一个选项，相同的功能在pySpark中不可用。
寻找一种快速和干净的方法来使用PySpark检查Hive表是否存在
回答 4
Stack Overflow用户
回答已采纳
发布于 2019-09-23 17:51:35
pyspark.sql.catalog模块包括在spark >= 2.3.0中
如果您使用的是spark < 2.3.0，您可以使用如下所示：
spark._jsparkSession.catalog().tableExists("schema.table")
True
spark._jsparkSession.catalog().tableExists("schema.table_false")
False或
spark.catalog._jcatalog.tableExists("schema.table")
TrueStack Overflow用户
发布于 2019-09-23 17:50:37
在PySpark中，可以这样做：
spark.catalog._jcatalog.tableExists("schemaname.tablename")Stack Overflow用户
发布于 2019-09-23 19:08:56
以下是一些更多的选择。首先，让我们使用df.write.saveAsTable("your_table")从任意df创建一些随机表。
选项1-火花>= 2.0
使用spark.catalog.listTables i，即：
"your_table" in [t.name for t in spark.catalog.listTables("default")] == True 选项2-火花>= 1.3
使用sqlContext.tableNames i，即：
"your_table" in sqlContext.tableNames("default") == True选项3
使用spark.sql i，即：
spark.sql("SHOW TABLES LIKE 'your_table'").count() == 1页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58067388
复制相关文章
相似问题
腾讯云开发者
