我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)可以很好地执行查询，但是当在java应用程序中作为spark sql运行时，对于相同的数据，它不会返回任何结果。,{"productName":"Plan D"}]}', '$.product_offer.productName'), '\\[|\\]|"', &#x
浏览 15提问于2019-09-02得票数 0
1回答
我正在使用Spark-SQL运行配置单元查询。我创建了一个蜂窝上下文对象然后，当我尝试运行该命令时：或它不起作用。当我尝试运行时，它会显示database not
浏览 0提问于2016-02-18得票数 0
下面我有一个简单的配置单元查询，我们有一个并行运行多个配置单元查询的用例，在我们的例子中是16 (我们机器中的核心数量，使用scala解析数组)。在Spark 1.6中，它在10秒内执行，但在Spark 2.0中，同样的查询需要5分钟。为什么花了这么长时间？
问候你，杰伊
浏览 0提问于2016-11-18得票数 0
我使用的是spark 2.3 (启用了配置单元支持)，我想在运行时访问和设置一些配置单元的值，例如"hive.exec.max.dynamic.partitions"。如果我尝试从spark.conf对象中获取这些分区，即使设置了它们，我也无法找到它们，因为我的代码稍后会失败，因为我会报告动态分区的最大数量设置为2000 (我在集群的配置单元设置中找到的默认值)。有没有办法在<e
浏览 19提问于2018-12-27得票数 1
我已经在一个干净的ubuntu实例上安装了spark 2.4.0。Spark数据帧工作得很好，但是当我尝试对数据帧使用spark.sql时，比如在下面的例子中，我得到了一个错误“无法访问metastore。这个类不应该在运行时被访问”。.createOrReplaceTempView(&q
浏览 176提问于2018-12-17得票数 3
回答已采纳
我使用spark dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive表，格式为parquet。因此，我的配置单元元存储在HDP集群中，我正在从HDP集群运行spark作业。此spark作业将数据以parquet格式写入IBM COS。sql访问数据要从分区表中
浏览 40提问于2018-12-18得票数 0
1回答
我安装了本地hadoop单节点和配置单元，并将一些配置单元表存储在hdfs中。然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result
浏览 2提问于2016-04-04得票数 2
我无法在Spark SQL中查看配置单元记录，但可以在配置单元CLI上查看它们。在配置单元CLI显示2条记录的情况下，使用配置单元上下文的相同查询显示0hive> select ord_id from order;157434411Timetaken: 0.389
浏览 2提问于2018-01-11得票数 0
3回答
所有数据库中的行等)。我正在寻找的是某种类型的脚本，我可以将其提交给任何人，任何人都可以运行它，并通过将其写入文件来为我提供输出。对于RDBMS，我只需在系统目录表上编写一个SQL查询就可以做到这一点。
浏览 4提问于2016-03-29得票数 0
2回答
我使用Spark 2。我们将hive表划分为2000个分区，并以拼接格式存储。当在spark中使用这个表时，在executors中恰好有2000个任务被执行。但是我们有一个256MB的块大小，我们期望(总大小/ 256 )分区的数量肯定会比2000小得多。spark是否有任何内部逻辑使用数据的物理结构来创建分区。任何参考/帮助都将不胜感激。
更新:这是另一种方式。
浏览 1提问于2018-04-05得票数 2
考虑具有列aid和bid的配置单元表tbl | aid | bid || | 12 || 18 | 3.withColumn("aid", when(col("aid").isNull || col("aid") <=> "", col("bid")) otherwise(col("aid"))) 在spar
浏览 11提问于2020-06-12得票数 0
在我的组织中，我们使用亚马逊网络服务S3、和的堆栈来推动一些内部指标的报告。通常，这个堆栈非常适合用于报告原始数据(存储在S3中)的快速设置。我们遇到的问题是，如果我们发现需要以某种方式更新已经存储在S3中的数据，该怎么办。例如，我们希望更新具有特定字符串的列中的值，以更新该值。
与数据库不同，我们不能只运行一个查询来更新所有现有数据。
浏览 0提问于2020-07-17得票数 1
我想要更新我的hive表中的一些行。因为pyspark根本无法识别更新，所以我选择了DELETE和INSERT，但在DELETE操作上得到了"Operation not allowed“。下面您将看到我如何尝试设置属性的一些代码sqlCtx.sql("""SETspark.hadoop.hive.enforce.
浏览 17提问于2019-07-26得票数 0
Aggregation或Join不会从外部表的配置单元查询中返回任何结果。 我已经将配置单元设置为使用Spark (独立)作为查询引擎，而不是使用MR.。SELECT * FROM table1 LIMIT 100 尝试使用简单的count no data return： SELECT count(*) FROM table1 我使用JDBC (直线)在Hive上执行查询 从日志中看，select查询</em
浏览 15提问于2019-06-10得票数 1
1回答
我在配置单元控制台/ .hiverc文件中使用了以下属性，以便每当我查询该表时，它都会更新配置单元元存储的TBLS表中的LAST_ACCESS_TIME列。set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec;
但是，如果我使用spark-sql或spark-shell，它似乎无法工作，并且LAS
浏览 1提问于2020-02-25得票数 5
我知道如果我从配置单元提交查询，将获得一个共享锁，然后配置单元表将被查询锁定：谢谢
浏览 17提问于2017-03-10得票数 4
从Spark对Hive表运行的ANALYZE TABLE命令不会提供与从Hive发出的相同命令相同的性能改进。例如，我将一个数据帧插入到一个空的Hive表中： output.write.insertInto(“XXXXXXXX”) 然后运行analyze table命令：- spark.sql("ANALYZETABLE XXXXXXXX COMPUTE STATISTICS") 当我在Hive中做记录计数时，它非常慢： select count(*) from XXXXXXXX;
+
浏览 261提问于2019-01-05得票数 2
回答已采纳
此代码尝试在SparkContext runJob()方法中使用SparkSession从配置单元表执行配置单元查询。org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:252)
at org.apache.spark.rdd.RDD$at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.
浏览 4提问于2018-12-17得票数 1
我们正在维护一个配置单元数据仓库，并使用sparkSQL对配置单元数据库进行查询并生成报告。我们在AWS EMR环境中使用Spark 1.6，一直运行良好。在spark 2.0中查询时，任何包含DATE类型的列的现有表都会抛出java.lang.ClassCastException: java.lang.Integer cannot be cast to_2 STRING, ) PARTITIONE
浏览 2提问于2016-09-01得票数 0
回答已采纳
我正在尝试编写一个依赖于DataFrame.saveAsTable()的单元测试用例(因为它是由文件系统支持的)。我将配置单元仓库参数指向本地磁盘位置：MetaExce
浏览 4提问于2015-05-29得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
