腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Spark
-
Drop
null
值
从
map
列
中
删除
scala
、
apache-spark
我使用
Spark
读取CSV文件,然后收集所有字段来创建映射。有些字段是空的,我想从地图中
删除
它们。对于如下所示的CSV: "animal", "colour", "age""dog" , , "3" 我想获取一个包含以下地图的数据集:
Map
("animal" -> "cat", "co
浏览 77
提问于2020-10-31
得票数 0
回答已采纳
1
回答
ArrayType列上的火花源填充不起作用
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
spark
集群版本3.1.2。--+ 我必须
从
所有
列
中
删除
空
值
。"gender“
列
是StringType,而"arr”
列
是ArrayType。有些
值
为
null
,这两个
列
都是。当我应用fillna函数时,
值
从
gender
列
中
删除
,但不从arr
列
中
<e
浏览 0
提问于2021-10-07
得票数 1
2
回答
如何在火花放电中使用熊猫轴来放置柱子而不是行?
python
、
python-3.x
、
pyspark
、
pyspark-sql
、
pyspark-dataframes
StructField("readings", StringType(), True)\我想做的是
删除
列
,它有80%以上的NaN,
NULL
or 0
值
?我试过像下面这样的东西,但不起作用
spark</em
浏览 2
提问于2019-10-29
得票数 3
2
回答
删除
Spark
SQL
中
的空
列
scala
、
apache-spark
、
apache-spark-sql
、
spark-dataframe
如何
从
表
中
删除
仅包含空
值
的
列
?
null
null
浏览 3
提问于2017-07-26
得票数 2
1
回答
在Python语言中
从
Spark
DataFrame创建labeledPoints
python
、
pandas
、
apache-spark
、
apache-spark-mllib
、
apache-spark-ml
我应该使用python
中
的哪个.
map
()函数
从
spark
数据帧创建一组labeledPoints?如果标签/结果不是第一
列
,但我可以引用它的列名'status‘,那么表示法是什么?' in dataframe.columns: if '' in dataframe.columns= da
浏览 3
提问于2015-09-14
得票数 14
回答已采纳
3
回答
将不符合模式的行放入
spark
中
scala
、
apache-spark
、
filter
、
rows
、
drop
-- aisle_id: string (nullable = true)我想在上面的表上应用下面的模式,并
删除
不遵循以下模式的所有行
浏览 6
提问于2020-05-13
得票数 2
回答已采纳
1
回答
使用无类型转换的空
列
写入时出错后,覆盖/
删除
Azure Databricks
中
的增量表
pyspark
、
apache-spark-sql
、
azure-databricks
、
delta-lake
(f'''
DROP
TABLE IF EXISTS {tnm}; ''') USING DELTA ''') 我得到了一个错误,并意识到我需要将
null
列
转换为它的预期类型 df = df.withColumn('val2
浏览 24
提问于2021-10-23
得票数 1
回答已采纳
2
回答
如何将多个
列
的
值
合并为
中
的映射
scala
、
apache-spark-sql
sensor", "temperature", "humidity", "brightness") 但我有个例外: 错误:类型错配;找到: scala.collection.immutable.MapString,org.apache.
spark
.sql.Co
浏览 2
提问于2020-06-15
得票数 2
回答已采纳
4
回答
如何
删除
空
值
过多的行?
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
我想对我的数据做一些预处理,我想
删除
稀疏的行(对于某些阈值)。那么,在不使用Apache和scala
中
的列名的情况下,是否可以执行
删除
操作呢?
浏览 22
提问于2016-03-17
得票数 5
回答已采纳
2
回答
删除
spark
中
除
null
以外的重复项
scala
、
dataframe
、
apache-spark
我在pandas中看到了一种
删除
重复项并忽略空
值
的方法。在
spark
中有没有一种方法可以在忽略空
值
(而不是
删除
那些行)时
删除
重复项?我想去掉重复的"animal“val df1=sc.parallelize(Seq( (1, "Blue",
null
), // dont
浏览 1
提问于2020-09-19
得票数 1
2
回答
spark
/scala
drop
行,任何
列
中都有nan
scala
、
apache-spark
我使用的是齐柏林飞艇,而df是
spark
DataFrame。我尝试过滤可能出现在任何行
中
的NaNs,但是由于某些原因,它没有过滤掉它。val df = df_labeled("df_Germany")res66: Long = 455 res66: Long = 455 如何
浏览 1
提问于2018-04-26
得票数 2
1
回答
如何映射星火中的MongoDB数据?
mongodb
、
apache-spark
、
k-means
我想在MongoDB提供的数据
中
运行k-方法。KMeansExample") # SparkContextparsedData = data.
map
= SparkSession \.appName("myApp") \ .config("
spark
.mongodb.input.uri", "mongo
浏览 1
提问于2017-08-02
得票数 0
回答已采纳
1
回答
如何访问数组类型
值
并将其设置在两个不同的
列
中
?
apache-spark
、
apache-spark-sql
、
apache-spark-xml
我正在学习星火,我有下面的xml,我想从其中读取2个
值
并创建两个不同的
列
<applist> <code>8.52544"dev"> </app></appRoot>
浏览 3
提问于2020-09-21
得票数 1
1
回答
使用Java使用
Spark
列
从
java
Map
读取值
java
、
apache-spark
我尝试了下面的代码,通过java
中
的
spark
列
获取
Map
值
,但根据每个关键字搜索,
从
Map
获取期望精确
值
的
null
值
。
Spark
数据集包含一
列
,名称为KEY,数据集名称为dataset1 数据集中的
值
: KEY2 Java代码-
Map
<String,string>
map
1 = new HashMap&l
浏览 118
提问于2021-10-14
得票数 1
回答已采纳
2
回答
与
spark
map
列
中
的最大
值
对应的键
scala
、
apache-spark
、
apache-spark-sql
如果我有一个
从
字符串到双精度的
spark
map
列
,有没有容易生成一个新
列
的方法,它的键对应于最大
值
?我能够使用如下所示的集合函数来实现它: import org.apache.
spark
.sql.functions._ .toDF("id") .withColumn("optimized_probabilities_
map
", typedLit(
浏览 39
提问于2020-01-09
得票数 1
回答已采纳
1
回答
星星之火不使用var覆盖dataframe变量
apache-spark
、
apache-spark-sql
我有一个API,它对dataframe执行
删除
操作,如下所示 var ddf:DataFrame =
null
ddf.
drop
(clm)return
浏览 0
提问于2018-11-15
得票数 0
回答已采纳
1
回答
Scala星火添加一个数超过和的百分比的
列
scala
、
apache-spark
我有一个带有架构的数据集 |-- id: long (nullable = true) | |-- key: string| |-- value: long (valueContainsNull = true) 假设dist是[(A, 10), (B, 5), (C, 3)],我想添加一个
列
[10/18, 5/18
浏览 10
提问于2022-03-30
得票数 1
回答已采纳
2
回答
按数据类型在Scala星火中丢弃
列
scala
、
apache-spark
df1.
drop
($"colName")将按其名称
删除
列
。 是否有一种方法可以将此命令改为数据类型呢?
浏览 1
提问于2017-01-29
得票数 6
回答已采纳
9
回答
如果火花dataframe的特定
列
中
的所有条目为空,则
删除
python
、
apache-spark
、
pyspark
使用Pyspark,如何选择/保留包含非空
值
的所有
列
;或者等效地
删除
不包含数据的所有
列
。in media.columns: media = media.
drop
浏览 4
提问于2017-08-11
得票数 8
2
回答
Spark
:向dataframe添加条件
列
scala
、
apache-spark
、
dataframe
、
apache-spark-sql
、
conditional
我希望向dataframe添加一个条件
列
Flag。当满足以下两个条件时,将1添加到Flag,否则为0: 数据A
中
的num位于numStart和数据B的numEnd之间。
浏览 0
提问于2019-04-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
最常用的45个SQL公式
MySQL中的数据类型及约束
第四范式OpenMLDB: 拓展Spark源码实现高性能Join
Mysql常用命令总结上篇
【干货】MySql
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券