1回答
如何使用hive外部hive表创建空的数据帧？
scala、apache-spark
我正在使用下面的内容创建一个使用hive外部表的dataframe (spark scala)。但数据帧也在其中加载了数据。我需要一个使用配置单元外部表的模式创建的空DF。我使用spark scala来解决这个问题。 val table1 = sqlContext.table("db.table") 如何使用配置单元<
浏览 20提问于2019-10-16得票数 1
1回答
使用Spark Scala更新表配置单元
scala、apache-spark、rdd
我需要像这样update一个表蜂窝 set Col2 = B.Col2,= B.DT, Col4 = B.Col4使用Scala Spark RDD
我该怎么做呢？
浏览 20提问于2017-08-30得票数 0
1回答
如何使用`.saveAsTable()`将查询结果保存到Dataproc集群中的Hive表中？
scala、apache-spark、google-cloud-platform、hive、google-cloud-dataproc
我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。$1.apply(SparkPlan.scala:155)org.apache.spark.sql.DataFrameWriter.runC
浏览 0提问于2020-10-13得票数 2
2回答
在Spark中，CREATE table命令是否创建外部表？
jdbc、apache-spark、hive、external-tables
基于GitHub ()中的以下线程，我理解CREATE TABLE + Options (如JDBC)，将创建一个配置单元外部表？这些类型的表不会实现自身，因此当通过SQL删除该表或从Databricks tables UI中删除该表时，不会丢失数据。
浏览 2提问于2016-04-29得票数 2
1回答
将配置单元表卸载到。使用Spark或pyspark或python的dat文件
python、pyspark、apache-spark-sql、hiveql
我目前正在使用hql将数据从配置单元表卸载到文本文件中。因为它花费了太多的时间。我想去spark或pyspark.I。我是spark/ please的新手。你能帮我解决这个问题吗?我正在使用下面的查询来卸载 beeline --outputformat=dsv --silent=true - e 'select * from <tablename>' > /dir/samplefile.txt
浏览 11提问于2019-10-04得票数 0
1回答
无法在本地创建表，需要获取配置单元支持
scala、apache-spark、hive、scalatest
即使在设置配置后仍出现错误 .getOrCreate()编辑：
这就是我如何设置用于测试的本地数据库和表。TABLE .，") cmd时，出现以下错误: error:需要配置单元支持才能创建配置单元</
浏览 2提问于2019-08-12得票数 0
3回答
如何使用Spark SQL Scala API(非SQL)检查配置单元表是否为外部表
apache-spark
我使用以下代码(Spark SQL Scala API)来检查Hive表是否为外部表，但Table API没有方法来回答给定表是否为外部表。我会问如何使用Spark SQL Scala API(而不是SQL)检查配置单元表是否为外部表val spark = SparkSession.builder().master(
浏览 22提问于2019-11-06得票数 1
回答已采纳
1回答
在spark中使用配置单元数据库
apache-spark、hive、apache-spark-sql、hortonworks-sandbox
我是spark的新手，正在尝试使用HortonWorks沙盒在tpcds基准表上运行一些查询。在沙箱上通过外壳或配置单元视图使用配置单元时没有问题。问题是，如果我想使用spark，我不知道如何连接到数据库。如何使用spark中的配置单元数据库来运行查询？到目前为止，我所知道的唯一解决方案是手动重建每个表，并使用
浏览 4提问于2016-08-04得票数 2
1回答
spark查询执行时间
scala、apache-spark、apache-spark-sql
我安装了本地hadoop单节点和配置单元，并将一些配置单元表存储在hdfs中。然后，我使用MySQL元存储区配置配置单元。现在我安装了spark，我正在对hive表进行一些查询，就像这样(在scala中)：result = hiveCo
浏览 2提问于2016-04-04得票数 2
1回答
如何从Apache Spark on Analytics Engine读取和写入配置单元表
ibm-cloud、watson-studio、analytics-engine
我想在Watson Studio中的Jupyter笔记本上使用Spark on analytics engine，以便能够读取和写入Hive表，但我不清楚如何通过读取Spark 来做到这一点。不清楚的原因是IBM Analytics Engine预配置了Spark，并且不提供root访问权限。我在网上找到了一些generic hadoop的帖子，描述了如何使用元存储位置创建hive.xml，但不清楚如何将其转换到IBM Analytics Engine环境中。例如：
浏览 27提问于2018-06-02得票数 0
回答已采纳
3回答
createOrReplaceTempView在Spark中是如何工作的？
apache-spark、apache-spark-sql、spark-dataframe
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
1回答
spark.table失败，返回java.io.Exception:没有适用于方案的FileSystem : abfs
apache-spark、apache-spark-sql
已在此数据上创建了外部配置单元表。现在，我尝试使用spark.table('testingCustomFileSystem')将相同的表加载到spark dataframe中，它将抛出以下异常 at org.apache.spark.sql.execution.datasour
浏览 0提问于2019-04-30得票数 6
2回答
为事务启用的配置单元存储区表
apache-spark、hive、transactional、orc
因此，我们尝试使用以下语句创建一个ORC格式的Hive表，并为事务设置存储桶并启用该表该表是在Hive中创建的，并且还反映在Metastore和Spark SQL(我们已配置为
浏览 1提问于2015-11-23得票数 2
3回答
应如何配置spark sql以访问配置单元元存储？
apache-spark、hive、apache-spark-sql、cloudera
我正在尝试使用Spark SQL从Hive元存储中读取一个表，但Spark给出了一个关于表未找到的错误。我担心Spark SQL会创建一个全新的空转储。/hive-site.xml2015-06-30 17:50:51,570 INF
浏览 6提问于2015-07-01得票数 4
2回答
外部配置单元表刷新表与MSCK修复
apache-spark、hive、hivecontext、hive-partitions
我有一个外部蜂窝表，存储为Parquet，分区在一个列上，比如as_of_dt，数据通过spark streaming插入。现在，每天都会添加新的分区。我正在执行msck repair table，以便配置单元元存储获得新添加的分区信息。这是唯一的办法，还是有更好的办法？我担心如果下游用户查询表，msck repair是否会导致数据不可用或数据陈旧的问题？我正在浏览HiveContext应用程序接口并查看refreshTable选项。
浏览 8提问于2018-08-07得票数 13
2回答
如何使用Scala更新ORC蜂巢表
scala、apache-spark、apache-spark-sql、hiveql、hivecontext
我想更新一个以orc格式的hive表，我可以从我的ambari hive视图中进行更新，但是无法从sacla运行相同的update语句(星火壳)。)，因为我可以从Ambari视图进行更新(因为我设置了所有必需的配置，即TBLPROPERTIES "orc.compress"="NONE”事务性true等)。试着用Insert进入case语句，但是我们不能从spark中更新单元ORC表吗？如果是的话，程序是
浏览 0提问于2015-12-30得票数 5
回答已采纳
1回答
Spark 2.4.0中使用spark.sql的配置单元表锁信息抛出错误
apache-spark、hive、apache-spark-sql
无法使用Spark 2.4.0 shell中的以下SQL查询查询配置单元表锁信息。spark.sql("show locks dbName.tableName")scala> spark.sql("show locks dbName.tableName")
org.apache.spark.sql.catalyst.parser.ParseException$1.appl
浏览 5提问于2019-10-04得票数 3
2回答
从Scala中检索Spark DataFrame
scala、apache-spark、apache-spark-sql
我有一个来自Scala的DataFrame输出进入其中。我正在寻找从它找回火花DataFrame。 我在databricks中有一个Azure SQL连接，我使用scala进行连接。它为我提供了一个以下Scala格式的Spark DataFrame，我是新手，有人能帮我找回它吗?这样我就可以将它保存为配置单元表 我的scala代码的结果： outputData: Either[org.apache.spark.sql
浏览 13提问于2019-10-17得票数 0
回答已采纳
1回答
CLI中的scala/spark脚本
bigdata、sqoop
我在unix cli中运行scala_script.scala，得到的错误是：enycription key missing，而同样的scala代码在spark-shell中运行良好。代码用于访问配置单元表，将其加载到dataframe中，处理一些转换，然后再次执行：write.mode("append/overwrite").saveAsTable("my_db.my_table"代码为：
import org.apa
浏览 3提问于2018-05-08得票数 0
1回答
配置单元元存储中的上次访问时间更新
apache-spark、pyspark、hive、apache-spark-sql
我在配置单元控制台/ .hiverc文件中使用了以下属性，以便每当我查询该表时，它都会更新配置单元元存储的TBLS表中的LAST_ACCESS_TIME列。set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec;
但是，如果我使用spark-sql或spark-s
浏览 1提问于2020-02-25得票数 5
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号