腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Java
Spark
中
使用
withcolumn
遍历
不同
的
列
java
、
loops
、
apache-spark
、
optimization
、
calculated-columns
我必须根据List<Row>
中
的
一些规则修改Dataset<Row>。我想
使用
Dataset.
withColumn
(...)
遍历
Datset<Row>
列
,如下例所示: (import necesary libraries...)output) } 代码正常工作,但是当列表
中
<
浏览 219
提问于2020-01-29
得票数 2
回答已采纳
1
回答
迭代
的
列
并更新指定
的
值
scala
、
apache-spark
、
hive
、
apache-spark-sql
为了迭代从Hive表创建
的
Spark
列
并更新所有所需
的
列
值,我尝试了以下代码。import org.apache.
spark
.sql.functions._
在
执行火花外壳
中
<
浏览 0
提问于2018-05-06
得票数 0
回答已采纳
2
回答
string for Python -不能将字符串列强制转换为十进制/双进制
apache-spark
、
pyspark
、
apache-spark-sql
我尝试了几个版本,在所有的版本
中
,我都有一个DataFramedataFrame.printSchemaDataFrame之后,我希望将
列
'gen_val'(存储
在
变量results.inputColumns
中
)从String类型转换为Double类型。
不同
的
版本导致
不同
浏览 1
提问于2017-10-25
得票数 3
回答已采纳
1
回答
从向量汇编程序
的
输出
中
获取元素
apache-spark
、
apache-spark-ml
我需要
使用
Java
API将向量汇编程序
的
输出元素作为单独
的
列
。
浏览 2
提问于2017-07-12
得票数 0
2
回答
Spark
Java
编辑
列
中
的
数据
java
、
apache-spark
、
apache-spark-sql
、
apache-spark-dataset
我想
遍历
spark
DataFrame
中
列
的
内容,如果满足特定条件,则更正单元格
中
的
数据 +-------------++-------------++-----+|0 |+-----++-----+ 假设我想要在
列
的
值为null时显示其他内容,我尝试
使用
Column.when() Data
浏览 44
提问于2019-02-13
得票数 4
3
回答
Spark
中
的
多
列
操作
scala
、
apache-spark
使用
Python
的
Pandas,可以
在
一次
遍历
中
对多个
列
执行批量操作,如下所示:df[cols] = df[c
浏览 4
提问于2017-09-21
得票数 2
3
回答
星火壳
列
乘法和更新相同
的
数据
scala
、
apache-spark
01-14| 5| 3.663986666666667|我想要乘法转换*计数,并存储
在
另一
列
的
结果3.663986666666667| 102.591626667 |我
的
尝试和错误scala> result.
withColumn
(&quo
浏览 4
提问于2021-01-27
得票数 0
回答已采纳
3
回答
如何处理
spark
sql
中
缺少
的
列
scala
、
apache-spark
、
apache-spark-sql
我们正在处理无模式
的
JSON数据,有时
spark
作业会失败,因为我们
在
spark
SQL
中
引用
的
一些
列
在
一天
中
的
某些时间内不可用。在这些小时内,
spark
作业失败,因为所引用
的
列
在数据帧
中
不可用。我尝试过UDF,但是我们缺少太多
的
列
,所以不能真正地检查每一
列
的
可用性。我还尝试
浏览 5
提问于2018-08-10
得票数 2
1
回答
将数组类型
的
列
处理为udf时
的
Spark
-
java
.lang.ClassCastException [数组[Map[String,String]
scala
、
apache-spark
、
apache-spark-sql
、
user-defined-functions
我连接了Array[Map[String,String]]类型
的
spark
中
的
两个
列
,生成了一个新
的
Array[Array[Map[String,String]]]类型
的
列
。但是,我希望将该
列
展平,以获得一个Array[Map[String,String]]类型
的
列
,其中包含两个原始
列
的
值 我从
Spark
2.4
中
读到,可以直接在
浏览 30
提问于2020-12-24
得票数 0
回答已采纳
2
回答
排列星河数据集
列
scala
、
apache-spark-sql
、
spark-streaming
、
user-defined-functions
我正在
使用
Spark
2.3.1
的
结构化流API。是否有可能在火花流数据
的
列
中
对值进行排序?我尝试
使用
下面的代码,然后
在
异常消息之后意识到流上下文不可能
遍历
整个窗口。.
withColumn
("rank", row_number().over(Window.orderBy($"transactionTime"))) org.apache.
spark
.sql
浏览 0
提问于2018-07-06
得票数 4
回答已采纳
2
回答
向DataFrame添加
列
时出现
的
问题
apache-spark
、
spark-dataframe
sqlContext.sparkContext.parallelize(seq)df2.count() val withCounts = caseClassDF.
withColumn
浏览 0
提问于2016-09-08
得票数 0
1
回答
如何在不
使用
withcolumn
的
情况下向数据框添加
列
pyspark
我需要
遍历
一个json文件,扁平化结果,并在每个循环中
的
dataframe
中
添加一个具有各自值
的
列
。但最终结果将有大约2000
列
。因此,
使用
withColumn
添加
列
的
速度非常慢。有没有其他方法可以向数据帧
中
添加
列
?因此,
在
我
的
情况下,
withColumn
是不可行
的
。fh: jsonschema = j
浏览 5
提问于2019-03-28
得票数 0
1
回答
在
scala中将Map Datatype
的
新
列
添加到
Spark
Dataframe
scala
、
apache-spark
、
apache-spark-sql
我可以用一个数据类型为Map
的
列
创建一个新
的
Dataframe。我正在尝试
使用
spark
withColumn
方法来添加这个新
列
。,它是相同
的
,但是值是
不同
的
。当我
在
tmp列上应用.isEmpty方法时,出现了问题。我得到了空指针异常。:1063) 如何添加应与card_type_details
列
具有相同值
的
新
列
。
浏览 1
提问于2020-10-22
得票数 0
1
回答
获取dataframe
列
的
子字符串
java
、
apache-spark
在
spark
dataframe (
Java
API版本2.2)
中
,我尝试获取
列
的
子字符串,如下所示:aggregationsDS= aggregationsDS.
withColumn
("NODE_ID", aggregationsDS.col("NODE_ID").substr(2, [*Lengthofcolumn*]
浏览 1
提问于2018-04-20
得票数 0
1
回答
dataframe
中
每条记录
的
唯一时间戳
列
scala
、
dataframe
、
apache-spark
我有一个dataframe,它需要有一个唯一
的
加载时间戳
列
。数据帧
中
的
任何两条记录在此字段中都不应具有相同
的
值。 我尝试
使用
内置
的
方法,如CURRENT_TIMESTAMP等,但不起作用。val generateUniqueTimestamp = udf(() => new SimpleDateFormat("yyyy-MM-dd HH:mm:ss:SSS").format(new
java
.util.Date()).toSt
浏览 12
提问于2019-09-05
得票数 0
2
回答
如何在
Spark
DataFrame
中
添加常量
列
?
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我想在DataFrame
中
添加一个具有任意值
的
列
(即每一行都相同)。当我
使用
withColumn
时得到一个错误,如下所示:---------------------------------('new_column', 10).head(5) /Users/evanzamir/
spark
-1.4.1/pytho
浏览 3
提问于2015-09-26
得票数 175
回答已采纳
1
回答
星火数据集:数据集
的
转换
列
apache-spark
、
dataset
这是我
的
数据集: , col("document"), explode(col("mask")).as("mask")); , col("class")
浏览 1
提问于2020-05-12
得票数 1
回答已采纳
2
回答
如何在org.apache.
spark
.sql.execution.datasources.orc.OrcColumnVector.getLong(OrcColumnVector.
java
:141)“上修复"
java
.lang.NullPointerException”
dataframe
、
apache-spark
、
orc
我试图将dataframe
中
的
所有
列
合并到一个名为value
的
列
中
。Mycode: df.col(col) val
浏览 1
提问于2019-07-29
得票数 1
回答已采纳
1
回答
在
java
中
,
使用
withColumn
在
映射中查找字段值将
列
添加到数据帧
中
apache-spark
在
Java
中
,我想向dataframe
中
添加一
列
,并
使用
列
中
的
值
在
映射中查找该值,如下所示 .
withColumn
( "lookup" , lit( sizes.value( ).floorEntry( col( "integer" ) ).getValue( ) ) ) 但这会导致一个异常 Caused by:
java
.lang.Clas
浏览 40
提问于2019-09-18
得票数 0
2
回答
Spark
SQL
中
rank()函数
的
用法
java
、
apache-spark
、
apache-spark-sql
、
window-functions
、
rank
在
使用
rank()时需要一些指点Dataset<Row> DSColAwithIndex=inputDSAAcolonly.
withColumn
("df1Rank", rank()); 我可以对
列
进行排序,然后添加一个索
浏览 1
提问于2017-03-06
得票数 6
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark机器学习入门实例:大数据集二分类
第四范式OpenMLDB: 拓展Spark源码实现高性能Join
Spark Streaming+Kafka+Hbase项目实战
大数据有道之spark选择去重
AI 时代,你需要了解的数据库架构设计和内存优化思路
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券