腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
在
每次传递时间
列
进行转换时遍历Dataframe
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
我有一个有100
列
和列名
的
数据
帧
,比如col1、col2、col3……我想根据条件匹配对
列
的
值应用特定
的
转换。我可以将列名存储
在
字符串
数组
中
。并在withColumn
中
传递
数组
的
每个元素
的
值,并且基于When条件我可以垂直转换
列
的
值。但问题是,由于
数据
帧
是不可变
的</
浏览 23
提问于2020-07-10
得票数 0
回答已采纳
2
回答
在
Spark
Scala
中
迭代
数组
的
数据
帧
列
数组
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
我尝试
在
Spark
dataframe中将
数组
作为
列
进行
迭代
。寻找做这件事
的
最好方法。这只会得到第一个
数组
。getItem("description")col("Animal.Species").getItem(...).getItem("mammal").getItem("description") 所需
的
示例输出(以字符串形式展开
的
元素) lla
浏览 15
提问于2021-10-05
得票数 1
回答已采纳
3
回答
在
Spark
DataFrame中将空值转换为空
数组
apache-spark
、
dataframe
、
apache-spark-sql
、
apache-spark-1.5
我有一个
Spark
数据
帧
,其中一
列
是整数
数组
。该
列
可以为空,因为它来自左外部联接。我希望将所有null值转换为一个空
数组
,这样以后就不必处理null值了。$.apply(literals.
scala
:49)at org.apache.
spark
.sql.functions$.whe
浏览 5
提问于2016-01-08
得票数 24
回答已采纳
2
回答
Spark
,
Scala
中
的
数组
操作
scala
、
dataframe
、
apache-spark
我是
scala
和
spark
的
新手,
在
尝试从一些玩具
数据
帧
中学习时遇到了一个问题。我有一个
数据
帧
,它有以下两
列
: Name_Description Grade Name_Description是一个
数组
,而Grade只是一个字母。
在
Spark
上使用
scala
时,我正在尝试更改这一
列
。 名称描述不是固定大小
的
浏览 26
提问于2019-08-31
得票数 3
回答已采纳
1
回答
从列到
数组
Scala
Spark
sql
、
arrays
、
scala
、
apache-spark
我正在尝试
在
scala
的
Column上应用一个函数,但是我遇到了一些困难。有这样
的
错误required: Array[Double]更新:代码如下: def get_quanti
浏览 1
提问于2018-10-03
得票数 1
2
回答
如何在
Spark
(2.4) SQL -
Scala
2.11
中
避免ArrayType
的
自动转换
scala
、
apache-spark
、
casting
、
apache-spark-sql
给定
Spark
2.4和
scala
2.11
中
的
代码 val df =
spark
.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式,我会看到
spark
自动转换为字符串CAST(45 AS STRING)。array (nullable = false) | |-- element: string (conta
浏览 30
提问于2020-01-21
得票数 3
1
回答
将
Scala
中
的
WrappedArrays
列
转换为Vector[Double]
列
arrays
、
scala
、
vector
我
在
Scala
中有一个包含3个观察值
的
数据
帧
。其中一
列
包含包装
的
数组
,这样当我写到:我会回来
的
Array[org.apache.
spark
.sql.Row]= Array([WrappedArray(0.8, 0.5, 0.6)],[WrappedArray(0.6, 0.55, 0.7)], [WrappedArray(0.3,
浏览 0
提问于2017-02-27
得票数 0
1
回答
如何更新
Spark
中
的
数据
框
列
json
、
scala
、
dataframe
、
apache-spark
我有一个
数据
帧
,其中有2个json
列
。我需要更新基于j1
列
的
j2
列
。如果j2
列
的
元素为空,则从j1
列
中选取元素值。j1为JSON字符串,j2为JSON
数组
。输入
数据
帧
, +---------------------------+---------------------------------------+ | j150"}, {"A"
浏览 22
提问于2021-08-04
得票数 1
回答已采纳
1
回答
使用字节
数组
创建火花DataSet时出错
scala
、
apache-spark
、
apache-spark-sql
我正在使用case类和
spark
.sql({query}).as[MyCaseClass]语法
在
scala
中
创建
Spark
.as[HbaseRow] 通常情况下,这很好,但是对于字节
数组
,这是失败
的
。$$arrayClassFor$1.apply(ScalaReflection.
sca
浏览 1
提问于2018-11-26
得票数 1
回答已采纳
1
回答
spark
vs pandas dataframe (具有大
列
) jupyter笔记本
中
的
head(n)
scala
、
pandas
、
apache-spark
、
apache-spark-sql
、
jupyter-notebook
几天后,
数据
带来了大量
的
功能。为了获得简短
的
数据
摘要,人们将
数据
加载到
数据
框
中
,并使用head()方法显示
数据
。使用Jupyter Notebook( Toree for
scala
)进行实验是很常见
的
。
Spark
(
scala
)很适合处理大量
数据
,但是它
的
head()方法不能在水平滚动
的
notebook
中
显示
浏览 3
提问于2018-06-13
得票数 2
1
回答
使用
Scala
和
Spark
将
数组
列
的
行与另一个
数据
帧
的
标题进行比较
arrays
、
scala
、
dataframe
、
apache-spark
、
match
我用
的
是
Scala
和
Spark
。我有两个
数据
帧
。--+-----------+| 35 | 15 | [a,b,d] |
在
第二个文件
中
,
数据
帧
报头是我通过添加所有可能
的
头
列
创建了一个case类。现在我想要
的
是
浏览 1
提问于2020-09-07
得票数 1
回答已采纳
3
回答
org.apache.
spark
.sql.AnalysisException:
scala
、
dataframe
、
apache-spark
df.withColumn(x, when($"x" > 75, $"x" + 10).otherwise($"x")).show()res6: String = Marks 我希望传递一个变量作为参数,该变量存储dataframe
的
列
值。基于该参数,它将检查条件,计算值,并替换该dataframe
中
同名
的
列
。实际上,更大
的
浏览 2
提问于2020-07-10
得票数 0
回答已采纳
1
回答
如何创建countVectorizer模型
的
一个
列
中
包含值
数组
的
火花
数据
apache-spark
、
spark-dataframe
、
countvectorizer
中
创建第4
列
,其中包含所有这3
列
的
值
数组
,如| indiana|需要这个
数组
,因为countVectorizer模型
的
输入应该是包含值
数组
的
列
。它不应该像下面的错误消息中提到
的
那样是字符串
数据</em
浏览 1
提问于2017-09-05
得票数 0
回答已采纳
1
回答
如何将WrappedArray转换为
Spark
Scala
中
的
列表?
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
、
scala-collections
我使用DataFrame来处理
spark
中
的
数据
。我在这个
数据
帧
中有一个
数组
列
。
在
我要做
的
所有转换
的
最后,我得到了一个包含一个
数组
列
和一行
的
dataframe。为了应用groupby、map和reduce,我想把这个
数组
作为一个列表,但我做不到。$ofRef cannot be cast to
scala
.co
浏览 33
提问于2021-04-11
得票数 0
1
回答
我不能将
数据
分配给这个变量-
Scala
scala
、
apache-spark
、
apache-spark-sql
我试图用下面的代码重新排列星火
scala
中
数据
帧
的
列
data = data2 reorderdColNames是一个
数组
,其所有
列
都按我想要
的
顺序排列。[org.
浏览 3
提问于2022-11-04
得票数 0
回答已采纳
3
回答
如何在groupBy之后聚合映射
列
?
scala
、
apache-spark
、
apache-spark-sql
我需要联合两个
数据
帧
,并通过键组合
列
。这两个datafrmae具有相同
的
模式,例如:|-- id: String (nullable = true)| |-- key: string我想按"id“分组,并将"cMap”聚合在一起以进行重复
数据
删除。value) Row(
浏览 0
提问于2017-05-29
得票数 2
回答已采纳
1
回答
接受未知
列
数
的
Spark
UDF
python
、
apache-spark
、
dataframe
、
pyspark
、
user-defined-functions
我有一个不同模式
的
spark
数据
帧
列表。df3.columns = ['a', 'b', 'c', 'd']现在,我想要编写一个udf,它能够操作具有不同
列
数
的
数据
帧
列表之前有一篇文章介绍了
浏览 4
提问于2016-08-06
得票数 3
回答已采纳
1
回答
使用
scala
将json读入多个
spark
数据
帧
json
、
apache-spark
、
dataframe
我
的
json结构是这样
的
: { "persons": [], "meta": { ] "memberships": [], "areas&quo
浏览 6
提问于2019-03-02
得票数 0
回答已采纳
0
回答
无法
在
spark
/pyspark
中
创建
数组
文字
apache-spark
、
pyspark
我
在
尝试根据要过滤
的
两列项目列表从dataframe
中
删除行时遇到了麻烦。例如,对于此
数据
帧
: at org.apache.
spark
浏览 2
提问于2017-01-07
得票数 12
回答已采纳
2
回答
在
scala
中
创建
数组
元素
的
模式
arrays
、
scala
、
apache-spark
、
apache-spark-sql
我是
scala
的
新手,正在尝试从元素
数组
中
创建自定义模式,以基于新
的
自定义模式读取文件。 我从json文件
中
读取
数组
,并使用explode方法,为
列
数组
中
的
每个元素创建了一个
数据
帧
。.*") column_values.printSchema() 获得
的
输出为: column_values: org.apache.
spark</
浏览 14
提问于2020-05-02
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
加密谷大数据:大数据全系技术概览
大数据全系技术概览
Zzreal的大数据笔记-SparkDay04
年薪50万+的大数据工程师需要具备哪些技能?
加米谷大数据:大数据开发需要学习哪些技术?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券