spark.sql("SHOW TABLE EXTENDED IN DB LIKE 'TABLE'")
这两个查询的结果不同。如果我在Spark</
浏览 17提问于2019-07-12得票数 0
我想找出表中每一列的数据类型。例如，假设我的表是使用以下命令创建的：(col2 int,)column datatype我使用spark sql来查询hive表。也许是通过HIVE中的元数据？谢谢。
浏览 0提问于2016-03-18得票数 0
2回答
分区ORC表在蜂巢中显示为空
、、、、
我编写了一个Spark来分区ORC文件，如下所示： .write\ .format("orc")\磁盘上的一切都是正确的。在此之后，我想从它创建一个Hive表，比如：
CREATE TABLE table USING ORC LOCATION 'l
浏览 2提问于2020-03-28得票数 1
回答已采纳
2回答
火葬场中蜂箱表的显示
、、、、
我正在试着阅读星火1.6.1中的蜂巢表。一切都是按照要求工作的，只有星火中的表的显示是有线的。蜂箱表由100多万条记录组成。import ossc = SparkContext("local", "Simple App")
hive_context = Hi
浏览 3提问于2018-01-03得票数 2
回答已采纳
1回答
我是Spark的新手(使用2.4.0)。我遇到了一个奇怪的(对我来说) NPE异常。下面的代码返回NPE。val ds = "2020-04-01"
spark.sql("select ds, db_name, table_name, type FROM datainfra.hive_tables " +FROM datainfra.hive_columns
浏览 2提问于2020-04-11得票数 0
在外部表上使用TBLPROPERTIES ('auto.purge'='true')是行不通的。
创建表
spark.sql("CREATE EXTERNAL TABLE table_1 (id string, name string) PARTITIONED BY (key1 int)stored as parquet location 'hdfs:&#x
浏览 1提问于2018-08-29得票数 3
尝试读取和写入存储在远程Hive Server中的数据。我遵循这个例子：from pyspark.sql()# spark is an existing SparkSession
spark.sql("CR
浏览 0提问于2017-09-04得票数 0
回答已采纳
试着跑 .groupBy($"date")返回
org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to alter table. java.s
浏览 2提问于2020-06-23得票数 2
回答已采纳
2回答
将参数传递给火花插入脚本
、、、、
spark.sql("CREATE TABLE IF NOT EXISTS DB.RUN_LOG (RunId INT, CreatedDate timestamp, Status string, ErrorDetailstring)")vMaxRun
浏览 1提问于2019-07-31得票数 1
回答已采纳
除了名称中的最后一层之外，所有数据库都遵循相同的命名约定"the_same_databasename_<%>“，这一点有所不同。我正在尝试运行以下命令： use <database_name>; show tables; select count(*) from <table_name>; 因为我有40个不同的数据库，所以我需要为每个数据库运行前两个查询我将PuTTy配置设置为将PuTTy会话保存到本地目录
浏览 10提问于2021-11-21得票数 1
回答已采纳
1回答
我想看一下星火的蜂巢桌。蜂窝表数据以textFile的形式存储在/user/hive/warehouse/problem7.db中。我知道：// Create the Spark Conf and theSpark Session
浏览 0提问于2020-10-29得票数 0
回答已采纳
我在蜂巢里有一张桌子当我在hive中运行以下命令时，我会得到结果当我在spark-shell中运行以下代码时它什么也没显示。类似的
sql("SEL
浏览 4提问于2018-03-06得票数 2
1回答
我在Hive的默认数据库中有一个表，可以在命令行中成功地从该表中获取记录：但是，当我在Spark创建一个要运行的作业时，它只会像这样抛出我的异常: ugi=etl ip=unknown-ip-addr cmd=get_table : db=default tbl=my_table
Exception in thr
浏览 0提问于2016-01-04得票数 6
回答已采纳
6回答
可以使用df.saveAsTable(tablename,mode)方法以拼花格式将数据存储到Hive表中。上面的代码工作正常，但是我每天都有这么多的数据，所以我想根据creationdate(表中的列)动态地划分hive表。任何
浏览 7提问于2015-07-10得票数 41
回答已采纳
我正在使用以下命令尝试删除数据库scala中的多个表错误结果说明SQL语句中的错误: AnalysisException:表或视图未找到: ABC
然而，ABC数据库仍然存在。
浏览 9提问于2022-08-22得票数 1
2回答
我们有一个具有ORC文件格式和ZLiB压缩的事务性表。这是一张内部桌子。当我通过蜂巢阅读时，我可以读到表格。但是，当runnnig通过spark进行选择时，它会显示所有列和0行的表。请帮帮忙。
浏览 10提问于2020-01-28得票数 1
回答已采纳
我使用以下代码(Spark SQL Scala API)来检查Hive表是否为外部表，但Table API没有方法来回答给定表是否为外部表。我会问如何使用Spark SQL Scala API(而不是SQL)检查配置单元表是否为外部表val spark = SparkSession.builder().master("local").appName("SparkSQLTest1-1").enableH
浏览 22提问于2019-11-06得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
