腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
是否
在
使用
dropduplicates
时
保持在
最后
?
、
、
、
我想保留
最后
一个记录,而不是第一个。但是,keep="last"选项似乎不起作用?, \ Row(name='Alice', age=10, height=80)]).toDF()+---+------+-----+| 10| 80|Alice| +---+------+-----+ 然后我跑:
浏览 57
提问于2021-02-05
得票数 1
1
回答
TypeError
dropDuplicates
()接受1到2个位置参数,但给出了3个
、
、
我已经
在
Spark 2中播放过流媒体数据。我
在
Spark网站上发现我可以
在
watermark中
使用
dropDuplicates
。这是我的带水印的代码,不带
dropDuplicates
方法: .withWatermark("sourceTimeStamp", "10 minutes但是当我想像这样添加
dropDuplicates</
浏览 50
提问于2019-07-21
得票数 0
回答已采纳
2
回答
dropDuplicates
运算符中
使用
的是哪一行?
、
、
在
Spark中
使用
dropDuplicates
函数
时
,将保留哪一行?火花文件中没有说明这一点。 随机?
浏览 1
提问于2017-06-23
得票数 10
回答已采纳
3
回答
Spark SQL DataFrame - distinct() vs
dropDuplicates
()
、
、
、
在
查看DataFrame应用程序接口
时
,我可以看到两种不同的方法执行相同的功能,用于从数据集中删除重复项。 我可以理解
dropDuplicates
(colNames)将只考虑列的子集来删除重复项。
浏览 0
提问于2016-02-27
得票数 22
3
回答
从PySpark中的数据中删除重复项
、
、
、
我
在
本地
使用
pyflem1.4中的dataframes,并且
在
让
dropDuplicates
方法工作
时
遇到了问题。它不断地返回错误: 不太确定为什么,因为我似乎遵循中的语法。'column1', 'column2', 'column3', 'column4']).coll
浏览 2
提问于2015-06-26
得票数 25
回答已采纳
1
回答
如何删除只考虑列子集的重复项?
、
、
我
使用
Spark1.6并对两个数据文件进行内部连接,如下所示: .join(filtercndtns, Seq("aggrgn_filter_group_id"), inner)但是我一直
在
aggrgn_filter_group_id列中获得重复的值。
浏览 2
提问于2018-07-06
得票数 0
回答已采纳
4
回答
加入后的星火投下多个重复列
、
在
加入两个数据格式之后,我得到了许多重复的列,现在我想删除
最后
一个列,下面是我的printSchema |-- id: string (nullable = true) |-- test: string (nullable = true)现在我想删除
最后
两列|-- test: string (nullable = true) |-- value: string (nullable
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
1
回答
dropDuplicates
in SparkR
、
SparkR
是否
包含函数(根据特定列删除重复行)? 我
在
SOF中遇到了这个。但是,我们没有
使用
GroupBy,而是
在
SparkR中有一个
dropDuplicates
函数吗?
浏览 3
提问于2016-05-02
得票数 1
回答已采纳
2
回答
在
dataframe中
使用
dropDuplicates
会导致分区号的更改。
、
、
、
df.rdd.getNumPartitions()当我
在
dataframe上
使用
dropDuplicates
时
,它将分区更改为默认的200。df = df.
dropDuplicates
()200你对解决这个问题有什么建议吗?
浏览 5
提问于2016-05-26
得票数 4
回答已采纳
2
回答
如何在不重复的情况下将火花DataFrame插入到Hive内部表中?
、
、
所以命令直接将附加到hive表是,但是,追加模式
是否
确保避免了行的重复?例: 谢谢。
浏览 1
提问于2018-10-07
得票数 2
2
回答
Spark :删除具有不同值的重复行,但只保留一行用于区分行
、
、
但我们只为第3行和第4行保留一行,因为值相同(而不是删除这两行) 我尝试
使用
以下方法来实现此目的: val df = Seq( (1, 1, 2, "tim"我这样做的原因是要与另一个数据集连接,而不是
在
同一个密钥组有多个名称
时
添加来自此数据集的信息
浏览 30
提问于2021-06-23
得票数 1
回答已采纳
3
回答
如何在结构化流中终止
dropDuplicates
状态以避免OOM?
、
、
、
、
我希望
使用
星火结构化流计算每天的唯一访问,因此我
使用
以下代码
在
第二天,维护今天的状态应该取消,这样我就可以得到第二天唯一访问的正确计数,并避免OOM。星星之火文档
使用
带有水印的
dropDuplicates
来指示,例如:.
dropDuplicates
("uuid", &
浏览 4
提问于2017-08-03
得票数 6
回答已采纳
1
回答
为什么PySpark
dropDuplicates
和Join会产生奇怪的结果
、
、
、
在
dropDuplicates
和join数据集之后,PySpark给了我一些奇怪的结果。--|----|---|---|----|ID|region_code|2|5|4|7|file_1 = file_1.
dropDuplicates
浏览 0
提问于2018-05-31
得票数 0
1
回答
PySpark -运行Count() /聚合函数(平均值等)
时
的不一致性
、
、
、
我的目标是
在
一天的
最后
,是随机选择一个ID,而不管季度。
在
添加random_num列(图像中的table2 )之后,根据ID和Random_Num对table2进行排序,然后
使用
-
dropDuplicates
函数随机选择ID。一旦我运行了
dropDuplicates
,我就会得到图像中的table3显示。 在这一步之后,我做了其他的数据处理,这是我不关心的。
最后
,我为每个季度运行聚合函数和计数ID。但是,每次我运行它
时
,都会得到不同的计数,还会得到相关
浏览 0
提问于2021-06-05
得票数 0
回答已采纳
1
回答
Spark1.6.2:
DropDuplicates
给出了意想不到的结果
、
、
我正在
使用
dropDuplicates
方法删除数据文件中A和B列的重复条目。而我将结果数据保存为空A和B列上的主键的sql表。有时,新的dataframe
在
A和B列上有重复的值。newdf = df.
dropDuplicates
(Seq("A", "B"))因此,当插入到表中
时
,我将得到java.sql.BatchUpdateException:重
浏览 5
提问于2016-11-18
得票数 2
2
回答
PySpark:过滤联合的副本,只保留具有指定列最大值的groupby行。
、
我想要创建一个DataFrame,它包含两个DataFrames中的所有行,
在
存在重复项的地方,我们只保留列的最大值的行。df_final = df_union.join(df_agg, on="score", how="leftsemi").orderBy("name", F.col("score").desc()).
dropDuplicates
浏览 2
提问于2020-11-12
得票数 0
回答已采纳
1
回答
如何从包含具有主键的重复行的Dataframe中获取最新数据?
、
、
、
Loan Details| Month || 123 | House Loan | 05-May-22|df_Insert = spark.sql("""SELECT * FROM insertedit""") df_Insert_filter = df_Inser
浏览 2
提问于2022-05-09
得票数 -1
2
回答
删除特定列的空值行,同时
在
pyspark中执行partitionBy列
、
、
、
、
我有一个这样的电火花数据仓库:| id| name|state||111| null| CT||222|name2| CT||333|name4| CT|+---+-----+-----+ 对于给定的ID,即使列" name“是空的(如果它的ID不重复),但如果ID是重复的,我想保留该记录,但是如果ID重复,那么我想检查name列,确保它不包含该ID中的重复项,如果"name”仅
浏览 1
提问于2020-05-06
得票数 1
回答已采纳
1
回答
repartitionAndSortWithinPartitions &删除单个洗牌的重复项
、
我有一个用例,其中我需要
使用
自定义分区&最终对分区进行排序。
是否
有一种方法可以使
dropDuplicates
与其结合,或者有一个
在
排序分区(仅在分区级别)上高效工作的
dropDuplicates
,而无需调用另一次洗牌。rdd上的
dropDuplicates
reduceByKey或dataset上的reduceByKey都会导致添加洗牌。
浏览 5
提问于2019-12-18
得票数 0
1
回答
火花结构化流-带有水印替代解决方案的
dropDuplicates
副本是
在
中间阶段引入的,因此对于给定的记录复制,事件时间戳是相同的,但是传输时间戳是不同的。 对于水印,我喜欢
使用
传输时间戳,因为我知道重复不能发生超过3分钟的传输间隔。但是我不能在dropDuplicate中
使用
它,因为它不会捕获副本,因为副本具有不同的传输时间戳。但目前,这是唯一的方式,因为火花迫使我包括水印列
在
dropDuplicates
函数
时
,水印设置。我真的很想看到一个像下面这样的dropDuplicate实现,这对于任何至少一次语义流来说都是有效的,在这种情况下,我不必<em
浏览 1
提问于2018-12-04
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
S7-1200对没有下载OB82、OB83和OB86的响应
无法进入系统?关于服务器给新手的几点建议
竞价优化之页面:如何分析页面数据?页面优化主要从哪入手?
暴雪社区经理发布的魔兽世界怀旧服设计调查结果
定速巡航真的不是神器,太过于相信要出事!
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券