在Spark/Hive SQL中，我们可以使用DESCRIBE TABLE table_name来获取表的模式。但是，如果data_type太长，data_type列可能不会返回完整类型。有没有办法使用Spark/Hive SQL获取完整的列数据类型？
浏览 28提问于2021-03-10得票数 0
当我使用pyspark连接到hive时，我想获取表的注释，我使用了"DESCRIBE table table_name"，但它不起作用jdbcDF = spark.read \
.format("
浏览 38提问于2019-07-16得票数 0
1回答
我创建了一个Hive表，我们在每个变量的“注释”字段中添加了一些描述，如下所示：spark.sql("describe tes
浏览 1提问于2018-03-07得票数 1
回答已采纳
我想找出表中每一列的数据类型。例如，假设我的表是使用以下命令创建的：(col2 int,)column datatype最好是在SparkSQL中。但是，如果不是，那么如何使用另一种方式获取这些数据呢？我使用spark sql来查询hive</em
浏览 0提问于2016-03-18得票数 0
当我尝试在没有显式路径的情况下保存表时，hivemetastore将有一个虚假的" path“属性，指向”/user/hive/仓库“而不是”/hive/仓库“。如果我使用.option(" path“、”/ Hive /仓库“)显式地将路径设置为我想要的，那么一切都正常，但是Hive创建了一个外部表。/warehouse").saveAsTa
浏览 3提问于2017-03-10得票数 1
回答已采纳
2回答
如果我使用Hive创建一个表，那么表本身存储在Azure存储帐户中的位置呢？
我的意图是，我想复制表和亚稳态，以复制它。
浏览 2提问于2020-05-08得票数 1
回答已采纳
我们使用了一个kerberized环境(HDP 3.1.4与Spark2.3.2和Ambari2.7.4)，很长一段时间以来，一切都进行得很顺利。现在，我们启用了NameNode高可用性，并存在以下问题:当我们想要使用Spark读取数据时，我们首先必须编写一些(其他)数据。如果我们在读操作之前不写东西，它就会失败。在这里，我们的场景：$ spark</em
浏览 6提问于2020-04-22得票数 0
1回答
我正在编写一个大表(大约1.2b行)，我使用state (如US state)作为分区键。问题是有大量的空状态值。这个表通常是按状态查询的，所以有一个包含空状态的大分区不是问题，但是我在更有效地生成表时遇到了问题。我尝试创建具有非null状态的表，然后插入null，但从我所能断定的情况来看，所有NULL值仍然被放在一个大分区中，因此被发送到一个工作进程。
如果有一种方法可以插入到特定的分区中，那就太好了。就像我的示例
浏览 17提问于2019-07-11得票数 0
2回答
我使用spark.sql看到了spark中的表，但在hive数据库中看不到相同的表。我试过这个，但它并不是为了储存蜂巢而储存的。我如何配置蜂巢亚稳态？火花版本为2.3.1。table if exists my_table");
spark.sql("create table my_table
浏览 2提问于2018-11-15得票数 1
回答已采纳
6回答
我感兴趣的是能够检索给定Spark ()的Hive表的值。获得此值的一种方法是通过以下SQL查询解析位置的输出：我想知道是否有另一种方法可以获得位置值，而不必解析输出。如果上述命令的输出在Hive版本之间发生变化，API将是很好的。如果需要外部依赖，会
浏览 4提问于2019-01-06得票数 11
回答已采纳
1回答
我们可以创建一个表并使用描述它的注释来查看它。TBLPROPERTIES ('foo'='bar');DESCRIBE student
DESCRIBE E
浏览 6提问于2022-06-15得票数 1
4回答
我在gs桶上有一个外部表，为了执行一些压缩逻辑，我想确定创建表的完整路径。primaryKey="key"val datePartition="dt"
val compactionTabl
浏览 0提问于2019-03-08得票数 1
回答已采纳
1回答
首先，请允许我先说一句，我对Spark-SQL非常陌生。我正在尝试理解Spark-Sql中的各种连接类型和策略，我希望能够了解一种近似表大小(参与连接、聚合等)的方法，以便通过了解幕后实际发生的事情来估计/调整预期的执行时间，以帮助我选择最适合该场景的连接策略(在Spark-SQL中通过提示等)。SQL查询。注意:我没有访问PySpar
浏览 106提问于2020-06-10得票数 2
2回答
数据源表不支持加载数据。
、、、
对于亚行来说，我是新手，我试图使用parquet文件将数据加载到databricks中的一个表中，并发出以下命令：但是它抛出的错误如下：
SQL语句中的错误: AnalysisException:数据源表不支持加载数据：d
浏览 2提问于2020-12-29得票数 2
回答已采纳
当尝试使用HDP 3.1上的spark 2.3写入没有仓库连接器的Hive表时，可以使用以下方法直接写入蜂窝模式：spark.sql("select * from foo.my_table_02").show的火花工作得很好。USER, writeId:-1) |
浏览 10提问于2019-10-16得票数 2
我正在尝试使用以下代码将dataframe插入到Hive表中：import org.apache.spark.sql._val empfile = sc.textFile("com
浏览 6提问于2017-07-03得票数 0
回答已采纳
我需要从Spark创建一个Hive表，该表将采用拼花格式和快速压缩。下面的代码以拼花格式创建表，但使用GZIP压缩：但在色调"Meta
浏览 3提问于2016-04-29得票数 4
回答已采纳
如果它是avro、orc或parquet表，我可以使用相应的库来获取模式。但是，如果输入/输出格式是TXT，并且数据存储在csv文件中，我如何获得模式programatically？
谢谢,
浏览 0提问于2019-03-15得票数 0
1回答
我正在尝试从我的笔记本电脑查询远程(本地)配置单元数据库中的表。我使用的是spark sql。我能够连接到它并检索最新的分区。我尝试使用describe table命令并尝试打印模式 Dataset<Row> descTable = spark.sql("desc db.tablename");
descTable.printS
浏览 116提问于2019-10-09得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
