腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4702)
视频
沙龙
1
回答
在
spark
sql
中选择除特定列之外
的
所有列
apache-spark-sql
、
hiveql
、
pyspark-sql
、
spark-hive
我想选择表
中
除StudentAddress之外
的
所有列,因此我编写了以下
查询
:在Squirrel
Sql
客户端中出现以下错误。
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
的
输
入列
的
“”(StudentAddress)?+.+“”
浏览 45
提问于2017-04-27
得票数 3
回答已采纳
1
回答
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
的
输
入列
的
'`
AB
`‘:
无法
解析
spark
sql
查询
中
的
变量
scala
、
apache-spark
、
apache-spark-sql
所以我在Scala中使用
spark
SQL
API。我在
查询
中使用了一个
变量
。下面是代码片段。DF2_VIEW是为数据帧创建
的
视图。val x = '
AB
' WHERE $x = SOME_FIELD_IN_DF2_VIEW""&quo
浏览 29
提问于2019-03-13
得票数 0
回答已采纳
1
回答
如何引用星火
sql
查询
中
的
映射列?
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
scala> val map1 =
spark
.
sql
("select map('p1', 's1', 'p2', 's2')")+--------------------++--------------------+ scala> <
浏览 8
提问于2020-09-28
得票数 1
回答已采纳
1
回答
SparkSQL -如何重用先前选定
的
值
scala
、
apache-spark
、
apache-spark-sql
我需要第一个UDF (GetOtherTriggers)
的
值作为第二个UDF (GetTriggerType)
的
参数。下列代码不起作用: "select GetOtherTriggers(categories) as other_triggers, GetTriggerType(other_triggers) from my_table") 返回以下异常:
org.apache.spark
.
sql
.AnalysisExcepti
浏览 3
提问于2017-03-20
得票数 0
回答已采纳
1
回答
我如何才能在DataFrame in PySpark
中
按总和订购?
python
、
pyspark
、
spark-dataframe
::
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
输
入列
order_item_order_id,SUM(order_item_subtotal#429)
的
“SUMorder_item_order_id").sum("order_item_subtotal").orderBy(desc("SUM(order_item_subtotal)")).show() 但我也有同样
的
浏览 1
提问于2015-12-21
得票数 4
2
回答
使用句点访问列名-SparkSQL1.3
apache-spark
、
apache-spark-sql
我有一个包含句点
的
字段
的
DataFrame。当我试图对它们使用select()时,星火
无法
解决它们,很可能是因为‘。用于访问嵌套字段。以下是错误: enrichData.select(" google.com ")
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
的
输
入列
google.com或者一种更改列名
的
简单方法(因为我
无法
浏览 2
提问于2015-05-20
得票数 1
1
回答
如何使用流
查询
处理Kafka
的
Scala case类对象?
scala
、
apache-spark
、
spark-structured-streaming
我正在使用Kafka+
Spark
集成,在这里我发送案例类对象(网站),并映射到火花。EmbeddedKafka.publishToKafka(topic, website.toString)(config,new StringSerializer) .load() .as[Websit
浏览 0
提问于2019-11-01
得票数 1
回答已采纳
1
回答
用向后兼容模式读取星火中
的
旧数据
scala
、
apache-spark
、
dataframe
、
spark-dataframe
我已经将一些较旧
的
数据存储在带有模式
的
parquet
中
。每次我尝试用
spark
.read.parquet("test_path").as[B].collect()读取数据时,我都会得到以下异常:
浏览 0
提问于2017-11-07
得票数 2
回答已采纳
1
回答
如何在火花中将byte[] of List<Objects>解码为Dataset<Row>?
java
、
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
我在我
的
项目中使用了火花-
SQL
2.3.1v,带有java8
的
kafka。我正试图在卡夫卡消费端将接收到
的
主题转换为数据集。(companySchema , false),false)我使用序列化将消息以byte[]
的
形式发送到true) Dataset<Company> comapanyDs = comapanyListDs.as(Encoders.bean(
浏览 2
提问于2020-02-07
得票数 0
回答已采纳
1
回答
Dataframe左外连接在火花中不能正常工作
apache-spark
、
apache-spark-sql
、
left-join
clusterDF.join(df, col("clusterDF.cluster_id") === col("df.cluster_id"), "left" )
org.apache.spark
.
sql
.AnalysisException
浏览 0
提问于2018-03-22
得票数 0
回答已采纳
3
回答
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
的
输
入列
apache-spark
、
dataframe
、
apache-spark-sql
我有一个
Spark
程序,可以读取CSV文件并将其加载到Dataframe
中
。加载后,我将使用SparkSQL操作它们。当运行我
的
Spark
作业时,它失败并给出以下异常:
org.apache.spark
.
sql
.AnalysisException:在
给定
输
入列
"alpha“、"beta”、"gamma“、"delta”和“action”
的
情况下,
无法
解析
“ac
浏览 2
提问于2016-10-05
得票数 3
1
回答
在标头中用点裁剪数据帧值
apache-spark
、
spark-dataframe
我正在读取一个具有“标题”
的
输入文件。‘点为DataFrame。我正面临问题,试图修剪在该文件
中
的
值。SQLContext(getLocalSparkContext())import org.apache.
spark
.
sql
.functions`"))).show() testDataFrame.withColumn("col1", trim(testDataFrame("
浏览 1
提问于2016-12-20
得票数 0
1
回答
如何从日期字符串中提取年份?
scala
、
apache-spark
、
apache-spark-sql
我用
的
是火花2.1.2。import org.apache.
spark
.
sql
.functions._import org.apache.
spark
.
sql
.typesunix_timestamp(mydf("date"),"
浏览 0
提问于2019-07-18
得票数 2
回答已采纳
2
回答
使用带有选项字段
的
case类将数据转换为数据集
scala
、
apache-spark
、
apache-spark-sql
、
apache-spark-dataset
lastname: Option[String] = None, age: BigInt) {}{ "name": "bemjamin", "age" : 1 }
spark
.read.json("example.json")它显示了以下错误: 线程“主”
org.apache.spark
.
sql
.AnalysisException
中<
浏览 0
提问于2019-03-12
得票数 6
回答已采纳
2
回答
org.apache.spark
.
sql
.AnalysisException:
无法
解析
给定
的
输
入列
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
、
spark-jobserver
exiturl", sum("session"), sum("sessionfirst"), first("date")) .take(500)
org.apache.spark
.
sql
.AnalysisException使用
Spark
2.1
浏览 36
提问于2017-05-10
得票数 8
回答已采纳
1
回答
有点复杂
的
PySpark选择和聚合
查询
pyspark
、
pyspark-sql
我有一个具有以下数据类型
的
pyspark:[('TransactionDate', 'timestamp'), ('GroupByFld', 'int'), ('Amount('AdjustedTransactionDate'),max('AdjustedTransactionDate'), GroupByFld, sum('Amount') 我想我可以使用thought
的
d
浏览 0
提问于2019-01-03
得票数 0
1
回答
使PySpark数据
中
的
“不可用列”为零。
python
、
dataframe
、
apache-spark
、
pyspark
、
fill
我有一个脚本,它目前运行在示例dataframe
中
。这是我
的
密码:在旋转之后,parameter_cut
中
的
某些列可能在df fd_orion_apps上不可用,它将给出如下错
浏览 2
提问于2022-07-10
得票数 1
回答已采纳
1
回答
阿格。在星火中使用过滤器和组块
sql
、
apache-spark
、
pyspark
、
apache-spark-sql
我正在基于groupBy条件进行聚合,并在我现有的
Spark
/Scala DataFrame上应用一些过滤器。但是,在执行我
的
代码时,我得到
的
“
无法
解析
”
给定
的
输
入列
“flag”: (1, 111,100,100,"C","5th","Y",11), (1, 111,100,100col("status") === &quo
浏览 1
提问于2021-01-20
得票数 0
回答已采纳
1
回答
Spark
中
的
Case- the语句中
的
scala
、
apache-spark
、
apache-spark-sql
我正试图像在
中
建议
的
那样,将数据从long转换为wide,然而,
SQL
似乎将国家列表误解为表
中
的
一个
变量
。下面是我从控制台看到
的
消息,以及上面链接
中
的
示例数据和代码。有人知道如何解决这些问题吗?scala控制台
的
消息:
org.apache.spark
.
sql
.Analysis
浏览 4
提问于2015-08-14
得票数 1
回答已采纳
1
回答
添加一个新列来激发数组列表
中
的
数据
scala
、
apache-spark
我试图添加一个新列来激发数据框架,如下所示:我正在尝试将这个ArrayString作为新列添加到dataframe
中
,并尝试对新列执行来源= source.withColumn("newcolumn",sha2(col(Word),256).cast(StringType)) 它已经完成,运行时错误也是我所得到
的
。线程“主”
org.apache.spark
.
sql
.Analysi
浏览 3
提问于2020-04-21
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
斯坦福开源数据解析引擎Sparser:解析速度提升22倍
SparkSQL内核剖析
【SQL刷题系列】:leetcode177 Nth Highest Salary
基于所有SQL引擎,200倍速度,分析查询加速神器出世?
PHP弱类型引发的漏洞实例
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券