运行spark-shell时出现以下错误at org.apache.spark.sql.hive.HiveExternalCatalog.client$lzycompute(HiveExternalCatalog.scala:66)
atorg.apache.s
浏览 0提问于2018-01-30得票数 0
我正在尝试使用Spark SQL从Hive元存储中读取一个表，但Spark给出了一个关于表未找到的错误。我担心Spark SQL会创建一个全新的空转储。我通过以下命令提交spark任务：
spark-submit --class etl.EIServerSpark --driver-class-path '/opt/cloudera/parcels/CDHINFO [main] util.Utils (Logging.
浏览 6提问于2015-07-01得票数 4
1回答
我正在尝试使用用户名/密码/jdbc url查询PySpark中的远程配置单元元存储区。我可以很好地初始化SparkSession，但无法实际查询表。"
spark = SparkSession \ .appName("Python Spark SQL Hive integrationjavax.jdo.option.ConnectionPassword", passwor
浏览 14提问于2020-09-28得票数 0
我正在按照本文档连接到我的外部配置单元转移存储。我的metastore版本是3.1.0，遵循文档。docs.databricks.comdocs.databricks.com外部Apache Hive元存储-数据库文档了解如何连接到数据库中的外部Apache Hive元存储。10:51尝试连接到外部配置单元转移存储时出现此错误
org/apach
浏览 0提问于2020-03-24得票数 0
3回答
我在本地运行spark，希望访问位于远程Hadoop集群中的Hive表。[ml@master spark-2.0.0]$./bin/beeline beeline> !SLF4J: Found binding in [jar:file:/home/ml/spark/sp
浏览 4提问于2016-10-12得票数 15
回答已采纳
2回答
我使用的是cloudera VM，我想连接到beeline，但当我留空时，它要求输入用户名和密码，无法连接。谁能告诉我用户名和密码。 !connect jdbc:hive2://localhost:10000/正在连接到jdbc:hive2://localhost:10000/输入JDBC的用户名:hive2://localhost:10000Apache Hive beeline>的1.1.0-cdh5.7.0版!:10000/
浏览 297提问于2019-10-10得票数 0
5回答
我在S3的拼图中有一个按日期(dt)分区的数据集，其中最旧的日期存储在AWS Glacier中，以节省一些钱。例如，我们有..。但仅读取尚未在冰川中的日期的子集，例如：val to = "2017-08-24"val X = spark.read.parquetS3; Status Code: 403; Error Code: I
浏览 4提问于2017-08-21得票数 7
在spark-shell (scala)中，我们将为特定配置单元上下文以编程方式启动Hive Thrift服务器的org.apache.spark.sql.hive.thriftserver.
浏览 0提问于2016-04-15得票数 3
3回答
从火花错误插入到CosmosDB
、、、、
1.0.0/azure-cosmosdb-spark_2.2.0_2.11-1.1.0.jar", "wasb:///example/jars/1.0.0/azure-documentdb-1.14.0快速搜索后，我尝试将模式(“追加”)添加到我的最后一行：
flights.write.format("com.microsoft.azure.cosmosdb.spark").mode("append&qu
浏览 7提问于2018-04-05得票数 4
3回答
尝试将配置单元从2.1.0升级到2.3.0时出现以下错误(实际将emr 5.7.0升级到5.8.0)
init hive-metastore schema]/returns: 0: jdbc:mysqlNotice: /Stage[main]/Hadoop_hive::Init_metastore_schema/Exec[init hive-metastore schema]/returns: org.apache.hadoop.hive.metastore.HiveMet
浏览 0提问于2017-10-18得票数 0
我使用的是Spark 2.1.0。当我运行spark-shell时，我遇到了这个错误： import spark.implicits._<console>:14: error: not found: value spark ^
浏览 0提问于2017-06-06得票数 18
我所希望的是能够通过为v2使用单独的元数据数据库来连接和维护到同一个DB的v1连接。但在尝试之后，我未能做到这一点，因为很明显，Hasura v2仍然在连接的DB上使用hdb_catalog，而元数据DB上的hdb_catalog仍然在使用。v1v2有人知道，如果这个文件甚至可以运行连接到同一个数据库的v1和v2 Hasura引擎，并且v2将元数据存储在单独的DB上，那么对于非元数据连接的DB对于v2来说，hdb_catalog
浏览 1提问于2021-11-17得票数 1
回答已采纳
我是否可以展示mongodump和mongorestore如何在Rest加密中实现数据？任何能帮助我理解这一过程的资源都将不胜感激。
浏览 3提问于2021-09-22得票数 1
回答已采纳
我想通过spark sql在AWS上创建带有location的托管表，但是如果我指定了位置，即使我没有指定这个关键字，它也会创建外部表。如果我在hive控制台中执行这个查询，它正在创建托管表，那么如何在spark中执行相同的操作呢？
浏览 10提问于2019-06-07得票数 2
4回答
火花安装
、
安装完毕后，当我运行bin\shell时。我觉得它运行良好，但我看到一些警告是这样的。我也安装了java。 at org.apache.spark.repl.SparkILoopIni
浏览 1提问于2016-06-28得票数 0
回答已采纳
我们正在尝试使用sparklyr中的spark_read_csv函数加载存储在HDFS中的csv文件。R代码在windows桌面上运行，并配置为以yarn客户端模式连接到远程yarn集群，以提交和执行作业。使用的spark版本是1.6.0。我们已经将com.databricks_ spark - CSV _2.10-1.0.3.jar和org.apache.commons_commons-csv-1.1.jar包含到spark类路径中，因为infer_
浏览 2提问于2017-07-14得票数 2
我是hive的新手，最近我安装了Cloudera express quickstart VM。我可以启动hive实例，但是当我从命令行执行hive cli来创建表时，命令一直挂在那里。知道出什么问题了吗？
浏览 1提问于2016-12-04得票数 0
我使用的是AWS EMR，它提供了Spark 1.4.1，但我不知道如何获得预测概率。如果有人知道怎么做，请分享你的想法或解决方案。谢谢!
浏览 0提问于2015-08-28得票数 4
4回答
我正在尝试创建一个datapipeline，其中的收入数据被存储到拼图中，并且我创建了一个外部的hive表，用户可以查询hive表并检索数据，.I能够保存拼图数据并直接检索它，但是当我查询hive表时我做了以下测试设置 --CREATE EXTERNAL HIVE TABLE创建外部表emp ( id double，hire_dt timestamp，user string )存储为拼接位置‘/testparquet("/test/emp")
--read the contents
浏览 47提问于2018-12-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
