我在hive中有一个名为PHAR的表。当我试图通过spark-submit(Spark version 1.6)创建一个视图/表时，我得到了下面的错误。User class threw exception: org.apache.spark.sql.AnalysisException: cannot resolve 'ph.pharmacy_id' giveninput columns: []; line 1 pos create view if not exis
浏览 2提问于2017-06-16得票数 0
1回答
我想选择表中除StudentAddress之外的所有列，因此我编写了以下查询：
select `(StudentAddress)?org.apache.spark.sql.AnalysisException:无法解析给定的输入列的“”(StudentAddress)?+.+“”
浏览 45提问于2017-04-27得票数 3
回答已采纳
我已经在AWS目录中创建了一个指向S3位置的表。我正在使用AWS读取S3位置中的任何新文件。数据文件将有第一个记录作为头文件。但是，在某些情况下，S3中有一个空文件正在删除，没有数据，也没有头文件。由于文件也没有任何头部信息，这将导致我的ETL作业失败，说“无法解决给定的输入列”。
我的问题是，是否有一种方法可以不从文件头读取模式，而只从AWS Glue目录读取模式。我已经在目录中定义了模式。datasource1D
浏览 0提问于2020-03-25得票数 1
1回答
-++--------------------+
org.apache.spark.sql.AnalysisException:无法解析给定的输入列“map1”：[]；第1行pos 18；“项目未解析别名”(element_at(‘map1，p1)
浏览 8提问于2020-09-28得票数 1
回答已采纳
1回答
我需要第一个UDF (GetOtherTriggers)的值作为第二个UDF (GetTriggerType)的参数。GetOtherTriggers(categories) as other_triggers, GetTriggerType(other_triggers) from my_table")
返回以下异常: org.apache.spark.sql.AnalysisException:无法解析给定的输入列: my_table列；
浏览 3提问于2017-03-20得票数 0
回答已采纳
我在我的项目中使用了火花-SQL2.3.1v，带有java8的kafka。我正试图在卡夫卡消费端将接收到的主题转换为数据集。(companySchema , false),false)我使用序列化将消息以byte[]的形式发送到true)
Dataset<Company> comapanyDs = comapanyListDs.as(Encoders.bean(Company.c
浏览 2提问于2020-02-07得票数 0
回答已采纳
我有一个包含句点的字段的DataFrame。当我试图对它们使用select()时，星火无法解决它们，很可能是因为‘。用于访问嵌套字段。以下是错误：
enrichData.select(" google.com ") org.apache.spark.sql.AnalysisException:无法解析给定的输入列google.com或者一种更改列名的简单方法(因为我无法选择它们
浏览 2提问于2015-05-20得票数 1
：：org.apache.spark.sql.AnalysisException:无法解析给定输入列order_item_order_id，SUM(order_item_subtotal#429)的“SUMorder_item_order_id").sum("order_item_subtotal").orderBy(desc("SUM(order_item_subtotal)")).show()
但我也有同样的错误：：
浏览 1提问于2015-12-21得票数 4
", "earliest") .select("value") 我知道错误了
线程"main“中的异常org.apache.spark.sql.AnalysisException:无法解析给定的输入列：id；
浏览 0提问于2019-11-01得票数 1
回答已采纳
1回答
我已经将一些较旧的数据存储在带有模式的parquet中。每次我尝试用spark.read.parquet("test_path").as[B].collect()读取数据时，我都会得到以下异常：
是否有方法为我的所有数据指定一个向后兼容的
浏览 0提问于2017-11-07得票数 2
回答已采纳
1回答
我正在读取一个具有“标题”的输入文件。‘点为DataFrame。我正面临问题，试图修剪在该文件中的值。`"))).show()如果我试图执行上述代码，我将得到
无法解析“col.2”给定的输入列col1、col。2，col3；org.apache.spark.sql.Ana
浏览 1提问于2016-12-20得票数 0
exiturl", sum("session"), sum("sessionfirst"), first("date")) .take(500)
org.apache.spark.sql.AnalysisException
浏览 36提问于2017-05-10得票数 8
回答已采纳
当运行我的Spark作业时，它失败并给出以下异常：当SparkSQL尝试解析以下内容时，会抛出上述异常： IF(action = 'A', 1, 0) a_coun
浏览 2提问于2016-10-05得票数 3
clusterDF.join(df, col("clusterDF.cluster_id") === col("df.cluster_id"), "left" )org.apache.spark.sql.AnalysisException
浏览 0提问于2018-03-22得票数 0
回答已采纳
1回答
这是我的密码：在旋转之后，parameter_cut中的某些列可能在df fd_orion_apps上不可用，它将给出如下错误：
Py4JJavaError：org.apache.spark.sql.A
浏览 2提问于2022-07-10得票数 1
回答已采纳
我有一个具有以下数据类型的pyspark：[('TransactionDate', 'timestamp'), ('GroupByFld', 'int'), ('Amount('AdjustedTransactionDate'),max('AdjustedTransactionDate'), GroupByFld, sum('Amount')
我想我可以使用thought的d
浏览 0提问于2019-01-03得票数 0
1回答
但是，在执行我的代码时，我得到的“无法解析”给定的输入列“flag”： (1, 111,100,100,"C","5th","Y",11),.select("id", "rollno", "sub1&quo
浏览 1提问于2021-01-20得票数 0
回答已采纳
2回答
lastname: Option[String] = None, age: BigInt) {}{ "name": "bemjamin", "age" : 1 }spark.read.json("example.json")它显示了以下错误：
线程“主”org.apache.spark.sql.AnalysisException中的异常:无法</em
浏览 0提问于2019-03-12得票数 6
回答已采纳
来源= source.withColumn("newcolumn"，sha2(col(Word)，256).cast(StringType))预期的输出应该是一个以newcolum作为列名的dataf
浏览 3提问于2020-04-21得票数 1
回答已采纳
1回答
我用的是火花2.1.2。import org.apache.spark.sql.functions._import org.apache.spark.sql.typesunix_timestamp(mydf("date"),"MM/dd/yy").cast(TimestampType))
select_df.select(year($&q
浏览 0提问于2019-07-18得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
