Spark Sql查询失败

文章/答案/技术大牛

发布

2回答

inferSchema=true不适用于csv文件读取n火花结构化流

scala、apache-spark、spark-structured-streaming、spark-csv

at org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:251) at org.apache.spark.sql.execution.datasources

浏览 18提问于2021-10-17得票数 4

回答已采纳

2回答

当对Snowflake使用Spark Connector时，在哪里处理该查询？

apache-spark、apache-spark-sql、snowflake-cloud-data-platform

例如，如果我使用Spark Connector从客户端(在EMR -1上运行)运行一个查询，以从Snowflake (在EMR -2上运行)获取数据，那么该查询实际上是在哪里执行的？它是在Snowflake本身上处理，然后返回结果，还是在客户端EMR上作为spark作业处理？当我看到Snowflake上的查询历史时，它也显示了执行的查询。这是否意味着它也会消耗那里的资源？

浏览 0提问于2020-02-25得票数 1

2回答

Spark忽略查询中的命名空间

sql、apache-spark-sql、common-table-expression、databricks

如果我在查询中使用spark-sql，然后使用不正确的命名空间/数据库引用CTE，则查询工作正常(意外)。当我在生产中运行查询时(在Databricks上)，我会得到一个表或视图未找到错误(预期)。意外的传递行为可以通过spark-sql在本地复制。有人能帮我使它在本地失败吗?这样我们就可以在部署之前进行适当的测试了吗？从终端复制的确切步骤：... spark-<

浏览 1提问于2020-07-15得票数 1

回答已采纳

0回答

java、apache-spark、apache-spark-sql、cassandra-2.0

使用Sparks 2/java/Cassanda2.2尝试运行一个简单的sparks sql查询，它会出错:尝试如下，+变体，如"'LAX'“和'=‘而不是'==’。Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`LAX`' given input, TransByDate.class); ori

浏览 1提问于2017-01-05得票数 2

回答已采纳

1回答

在Spark上执行多个SQL查询

scala、apache-spark、apache-spark-sql

我在文件test.sql中有一个Spark查询-spark.sql(sql).showorg.apache.spark.sql.catalyst.parse

浏览 0提问于2018-03-10得票数 0

回答已采纳

1回答

在Spark中创建临时视图

sql、apache-spark

我的公司支持运行在Spark上的jupyter笔记本，它可以与S3中的数据对话。这方面的细节并不重要，因为我正在尝试执行类似SQL的命令来输入数据。看上去像这样 SELECT thing2 FROM: org.apache.spark.sql.catalyst.parser.ParseException:

浏览 2提问于2020-06-09得票数 1

回答已采纳

3回答

为什么Presto比Spark SQL快

apache-spark-sql、presto

为什么Presto比Spark SQL快？此外，Presto和Spark SQL在计算架构和内存管理方面的区别是什么？

浏览 3提问于2018-04-25得票数 32

回答已采纳

1回答

为什么SQL子查询中的外部引用会产生不同的结果？

sql、oracle、oracle11g、apache-spark-sql

我运行了两个SQL查询:第一个查询对子查询内的表进行了外部引用。在第二个示例中，我在子查询中添加了相同的表。结果是不同的，它失败是由于多行。 where a.ID2 = t.ID2 ) AS

浏览 16提问于2019-07-24得票数 0

回答已采纳

1回答

跳过spark中配置单元表中丢失的文件以避免FileNotFoundException

apache-spark、apache-spark-sql

我正在使用spark.sql()读取表，然后尝试打印计数。但其中一些文件丢失或直接从HDFS中删除。Spark失败，出现以下错误：对于相同的查询，Hive能够给我没有错误的计数。table是一个外部的分区表。我想忽略丢失的文件并防止我的Spark作业失败

浏览 38提问于2019-07-30得票数 2

回答已采纳

2回答

如何获得(派生)星火DataFrame的查询逻辑的SQL表示？

scala、apache-spark、apache-spark-sql

可以将原始SQL字符串转换为DataFrame。但是，是否也有可能采取相反的方法，即为(派生的)星火DataFrame的查询逻辑获取SQL表示？= a.groupBy($"foo").agg(count("*") as "occurrences").orderBy($"occurrences") // Convert a SQLFROM a GROUP BY foo ORDER BY occurrence

浏览 3提问于2021-04-15得票数 1

回答已采纳

2回答

如何在Spark* (2.4) SQL -Scala2.11中避免ArrayType的自动转换*

scala、apache-spark、casting、apache-spark-sql

给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false) | |-- element: string (containsNull = false) 我

浏览 30提问于2020-01-21得票数 3

1回答

单用例id运行Spark/scala作业后出现的问题

scala、apache-spark

对于单个“案例ID"，我的Spark/Scala代码运行良好，方法是过滤代码中使用的查询。之后，我尝试对整个数据集运行代码，但它在ds.map(...)函数处停止，如下面的代码段所示。当我在少量数据上运行它时，它仍然运行良好(但在1000行数据上运行时仍然失败)。:由于阶段失败导致作业中止:阶段66.0中的任务0失败4次，最近一次失败:在阶段66.0中丢失任务0.3 (TID 2548，dbslp1219.uhc.com，executor 3)：org.apache

浏览 1提问于2021-12-19得票数 0

1回答

此查询不支持从检查点位置恢复。删除检查点/testmemeory/偏移以重新开始

apache-spark、apache-spark-sql、spark-structured-streaming

我已经在Spark中创建了内存中的表，并尝试在失败后重新启动Spark结构化流作业。它得到“此查询不支持从检查点位置恢复。删除检查点/TEST_IN_内存/偏移以重新开始。”我正在使用DataStAX5.1.6集群，所以我没有选择--我必须只使用Spark2.0.2版本。val kafkaDataFrame_inmemory = spark .format("kafka") .option("kafka

浏览 1提问于2019-08-18得票数 3

回答已采纳

1回答

如何使用`.saveAsTable()`将查询结果保存到Dataproc集群中的Hive表中？

scala、apache-spark、google-cloud-platform、hive、google-cloud-dataproc

我有一个查询结果，我试图将其写入GCP上的Hive表，并指向GCS bucket path，但当我执行saveAsTable()方法时，它失败了，错误如下。:122)org.apache.spark.sql.execution.SparkPlan:151) org.apache.spark.<em

浏览 0提问于2020-10-13得票数 2

1回答

临时视图和自动广播加入错误

sql、apache-spark-sql、pyspark-sql

我有一个查询(如下所示)，当我运行它时，有时Spark会抛出这个错误- org.apache.spark.SparkException: Could not execute broadcast in 300You can increase the timeout for broadcasts via spark.sql.broadcastTimeout or disable broadcast joinby setting spark.sql.autoBroadcast

浏览 1提问于2019-09-30得票数 0

2回答

优化--未能解析SQL

apache-spark、pyspark、delta-lake

ZORDER BY (id)")ParseException: OPTIMIZE my_delta_table ZORDER BY (id)问题： spark is started like this: fro

浏览 1提问于2020-08-28得票数 0

回答已采纳

1回答

应用过滤器利用数据库摄取Cosmos Mongo数据

aggregation-framework、azure-cosmosdb、databricks、azure-cosmosdb-mongoapi

我需要添加一个筛选条件，同时使用Databricks从Cosmos Mongo中摄取数据，df = spark.read \{"type" : "student"}我尝试使用下面的查询，但得到了如下错误： query = {"type" : "

浏览 11提问于2022-11-11得票数 0

回答已采纳

1回答

SnowflakeStrategy:下推失败:SQL编译错误

snowflake-cloud-data-platform

当使用spark和snowflake连接时，我在我的日志中看到以下行： SnowflakeStrategy:下推失败: SQL编译错误我查看了生成的SQL语句，其中显示了group by子句。而代码中的实际SQL语句没有显示任何group by语句。另外，我的代码在这一行没有失败。为什么会有这条消息，是否真的会对输出产生一些影响？我没有看到我的输出受到影响！

浏览 11提问于2019-10-09得票数 2

1回答

对子文档的sparkR Mongo连接器查询

mongodb、apache-spark、connector

我使用的是Mongo连接器--文档中的所有示例()都很好，但是如果我在一个有子文档失败的文档中测试查询，显然SQL还没有准备好进行此查询： at com.mongodb.spark.sql</

浏览 5提问于2016-08-16得票数 0

回答已采纳

1回答

pyspark无法使用foreach并行运行查询

pyspark

我有一个函数，可以生成不同的查询并执行它们，并将数据写入不同的表中。我想将其并行化。* from ...'.format(item) lst = ['products', 'orders', 'deliveries']rdd.foreach(build_and_execute_s

浏览 17提问于2021-03-05得票数 0

点击加载更多

inferSchema=true不适用于csv文件读取n火花结构化流

当对Snowflake使用Spark Connector时，在哪里处理该查询？

Spark忽略查询中的命名空间