腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为
CI
设置
Spark
,
如何
模拟
配置
单元
表
java
、
apache-spark
、
hive
在使用
Spark
1.6.2的Java应用程序中,我想在
CI
环境(travis或gitlabCI)上测试一些使用
表
(来自生产中的Apache Hive )的
Spark
SQL查询。
如何
注册一些
Spark
应用程序可以在没有外部
配置
单元
元存储的情况下使用的
表
? 注意:我不能在Java程序中这样做。
浏览 15
提问于2019-03-09
得票数 2
1
回答
spark
物理计划中的步骤未分配给DAG步骤
apache-spark
、
hive
、
cloudera
、
hortonworks-data-platform
、
catalyst-optimizer
我正尝试在
spark
SQL中调试一个返回不正确数据的简单查询。以下是示例查询from pyspark_llap import HiveWarehouseSession hive = HiveWarehouseSession.session(
spa
浏览 3
提问于2020-02-11
得票数 1
3
回答
Spark
在加载Hive
表
时创建了多少个分区
apache-spark
、
hadoop
、
pyspark
、
apache-spark-sql
即使是Hive
表
或HDFS文件,当
Spark
读取数据并创建数据帧时,我认为RDD/dataframe中的分区数量将等于HDFS中的partfile数量。但是,当我使用
配置
单元
外部
表
进行测试时,我可以看到这个数量与数据帧中分区的部分文件数量.The数量119不同。该
表
是一个Hive分区
表
,其中包含150个部分文件,最小文件大小
为
30MB,最大大小
为
118MB。那么,是什么决定了分区的数量呢?
浏览 69
提问于2020-04-02
得票数 3
3
回答
无法从
配置
单元
查询`saveAsTable`之后的
Spark
DF -
Spark
SQL特定格式,与
配置
单元
不兼容
scala
、
apache-spark
、
hadoop
、
hive
、
apache-spark-sql
我正在尝试将数据帧保存为外部
表
,该
表
将同时使用
spark
和可能的hive进行查询,但不知何故,我无法使用hive查询或查看任何数据。它在
spark
中工作。以下是
如何
重现该问题的方法:hivescala>
spark<
浏览 3
提问于2019-08-02
得票数 0
1
回答
使用
spark
从一个
配置
单元
读取所有
表
,然后写入另一个群集上的另一个
配置
单元
apache-spark
、
hadoop
、
hive
我们可以通过将hive-site.xml
设置
为
spark
.But的"conf“方向来读取或写入
配置
单元
中的
表
。现在,我有两个可以连接到每个other.Let`s的群集,分别是群集上的
配置
单元
1和另一个群集上的
配置
单元
2 现在我需要从
配置
单元
1读取数据并执行一些转换,然后写入
配置
单元
2,问题是我只能将一个hive-site.xml文件放入
浏览 12
提问于2018-12-20
得票数 2
回答已采纳
3
回答
如何
使用
Spark
SQL Scala API(非SQL)检查
配置
单元
表
是否
为
外部
表
apache-spark
我使用以下代码(
Spark
SQL Scala API)来检查Hive
表
是否
为
外部
表
,但Table API没有方法来回答给定
表
是否
为
外部
表
。我会问
如何
使用
Spark
SQL Scala API(而不是SQL)检查
配置
单元
表
是否
为
外部
表
val
spark
= SparkSession.builder().master(
浏览 22
提问于2019-11-06
得票数 1
回答已采纳
1
回答
使用
Spark
在Qubole metastore中
设置
分区位置
apache-spark
、
hadoop
、
hive
、
qubole
如何
在Qubole metastore中
为
我的Hive
表
设置
分区位置?我知道这是
Spark
,但是
如何
使用MySQL访问它并传递带有修复的SQL脚本呢?你知道
如何
直接更新Qubole的转移存储吗?我希望将批处理中的位置传递给转移存储,以提高性能。
浏览 1
提问于2018-04-11
得票数 0
1
回答
databricks UI中的
Spark
提交作业无法访问现有
配置
单元
数据库
apache-spark
、
hive
、
databricks
、
azure-databricks
我在databricks中创建了一个
spark
提交作业来运行.py脚本。我在python脚本中创建了一个
spark
对象。我尝试访问现有的
配置
单元
表
。但是我的脚本失败了,错误是“
表
或视图找不到”。我应该在我的
spark
提交作业中添加一些
配置
设置
来连接到现有的
配置
单元
元存储吗?
浏览 7
提问于2020-05-19
得票数 0
回答已采纳
1
回答
Spark
上的
配置
单元
不返回聚合或连接查询的结果
sql
、
apache-spark
、
hive
Aggregation或Join不会从外部
表
的
配置
单元
查询中返回任何结果。 我已经将
配置
单元
设置
为
使用
Spark
(独立)作为查询引擎,而不是使用MR.。我已经创建了一个外部
表
(从elastichsearch索引)。no data return: SELECT count(*) FROM table1 我使用JDBC (直线)在Hive上执行查询 从日志中看,select查询似乎是直接在elastic上执行的(没有
spark<
浏览 15
提问于2019-06-10
得票数 1
2
回答
外部
配置
单元
表
刷新
表
与MSCK修复
apache-spark
、
hive
、
hivecontext
、
hive-partitions
我有一个外部蜂窝
表
,存储
为
Parquet,分区在一个列上,比如as_of_dt,数据通过
spark
streaming插入。现在,每天都会添加新的分区。我正在执行msck repair table,以便
配置
单元
元存储获得新添加的分区信息。这是唯一的办法,还是有更好的办法?我担心如果下游用户查询
表
,msck repair是否会导致数据不可用或数据陈旧的问题?我正在浏览HiveContext应用程序接口并查看refreshTable选项。
浏览 8
提问于2018-08-07
得票数 13
3
回答
Spark
中的
配置
单元
元存储警告
apache-spark
、
hive
、
metastore
在启动
spark
-shell时,我经常收到这样的警告metastore. hive.metastore.schema.verificationFailed to get database default, returning NoSuchObjectException它们是什么意思,我该
如何
防止它
浏览 6
提问于2016-12-14
得票数 3
2
回答
如何
将temptable保存到Hive metastore (并在Hive中进行分析)?
apache-spark
、
hive
、
apache-spark-sql
、
spark-dataframe
、
apache-spark-1.3
我使用的是
Spark
1.3.1。在
配置
单元
中,如果我运行show tables,DataFrame在
配置
单元
数据库中不会以
表
的形式出现。我已经将hive-site.xml复制到$
SPARK
_HOME/conf,但它没有帮助(数据帧也不会出现在
配置
单元
元存储中)。 我正在关注,使用的是
Spar
浏览 0
提问于2015-11-18
得票数 0
2
回答
当数据存储在对象存储中时,从
Spark
SQL访问
配置
单元
表
apache-spark
、
hive
、
object-storage
我使用
spark
dataframe编写器将数据写入IBM Cloud Object Storage中的内部hive
表
,格式
为
parquet。因此,我的
配置
单元
元存储在HDP集群中,我正在从HDP集群运行
spark
作业。此
spark
作业将数据以parquet格式写入IBM COS。sql访问数据要从分区
表
中获取数据
浏览 40
提问于2018-12-18
得票数 0
1
回答
配置
单元
元存储中的上次访问时间更新
apache-spark
、
pyspark
、
hive
、
apache-spark-sql
我在
配置
单元
控制台/ .hiverc文件中使用了以下属性,以便每当我查询该
表
时,它都会更新
配置
单元
元存储的TBLS
表
中的LAST_ACCESS_TIME列。set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec; 但是,如果我使用
spark
-sql或
spark
-shell,它似乎无法工作,并且LAST_ACCESS_
浏览 1
提问于2020-02-25
得票数 5
2
回答
为
事务启用的
配置
单元
存储区
表
apache-spark
、
hive
、
transactional
、
orc
因此,我们尝试使用以下语句创建一个ORC格式的Hive
表
,并为事务
设置
存储桶并启用该
表
该
表
是在Hive中创建的,并且还反映在Metastore和
Spark
SQL(我们已
配置
<
浏览 1
提问于2015-11-23
得票数 2
1
回答
连接海量/小型数据集的最有效方法
scala
、
apache-spark
我目前有一个名为chartEvents的大型RDD,其中包含以下形式的数据: valueNum: String, warning: String, error: String)CSVUtils.loadCSVAsTable(sqlContext, "data_unzipped/CHARTEVE
浏览 2
提问于2016-11-16
得票数 0
1
回答
在不更改列名的情况下创建PySpark数据框
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
我使用下面的CTAS命令使用SparkSQL创建
表
。df =
spark
.read.format('ORC') \ .option('header',True) \
浏览 12
提问于2019-12-23
得票数 1
回答已采纳
2
回答
通过sparkSQL创建蜂窝
apache-spark
、
hive
、
apache-spark-sql
、
data-processing
我已经创建了一个临时
表
,该
表
在列关键字上存储桶。但是,当我通过另一个
表
手动将数据插入到这个
表
中时,我看到了以00000_*
为
前缀的文件。我不确定
spark
sql是
浏览 1
提问于2018-08-02
得票数 5
5
回答
如何
从
配置
单元
外部
表
创建数据帧
hadoop
、
apache-spark
、
dataframe
、
hive
、
apache-spark-sql
我们喜欢在Hive外部
表
的顶部创建数据帧,并使用hive模式和数据进行
spark
级别的计算。 我们是否可以从hive外部
表
中获取模式并将其用作Dataframe模式。
浏览 69
提问于2017-05-11
得票数 1
回答已采纳
1
回答
spark
查询执行时间
scala
、
apache-spark
、
apache-spark-sql
我安装了本地hadoop单节点和
配置
单元
,并将一些
配置
单元
表
存储在hdfs中。然后,我使用MySQL元存储区
配置
配置
单元
。现在我安装了
spark
,我正在对hive
表
进行一些查询,就像这样(在scala中):result = hiveContext.sql("SE
浏览 2
提问于2016-04-04
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在Navicat中如何新建数据库和表并做查询
GitHub标星2400,Netflix开源笔记本工具Polynote
Spark实战(5)_Spark Core核心编程
欧姆龙自动化设备通过CX-One软件配置单机PLC控制系统详解
大数据Hadoop之——Apache Hudi 数据湖实战操作(Spark,Flink与Hudi整合)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券