开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

有没有办法使用itertools groupby删除列表中相邻的重复项，但保留原始索引？

是的，可以使用itertools.groupby来删除列表中相邻的重复项，并保留原始索引。itertools.groupby函数可以将相邻的元素分组，并返回一个迭代器，其中每个元素都是一个键和一个迭代器，迭代器包含相同的键的元素。

下面是一个示例代码，演示如何使用itertools.groupby来实现这个功能：

from itertools import groupby

def remove_duplicates_with_index(lst):
    result = []
    for key, group in groupby(enumerate(lst), lambda x: x[1]):
        indices = [index for index, _ in group]
        result.append(lst[indices[0]])
    return result

# 示例用法
lst = [1, 1, 2, 3, 3, 3, 4, 5, 5]
result = remove_duplicates_with_index(lst)
print(result)  # 输出: [1, 2, 3, 4, 5]

在上面的示例中，remove_duplicates_with_index函数接受一个列表作为输入，并使用enumerate函数为列表中的每个元素添加索引。然后，使用itertools.groupby函数将相邻的重复元素分组。最后，我们提取每个分组的第一个索引，并根据索引从原始列表中获取对应的元素，将其添加到结果列表中。

这种方法可以删除列表中相邻的重复项，并保留原始索引。

相关搜索:从Python中使用groupby itertools创建的字典列表中移除重复项如何删除雪花表中的重复项，但只保留一条记录？而不是使用rownumber()插入到另一个表中？服务器查数据库进程数据库服务器上线流程服务器迁移完数据库起不来服务器gpu数据库如何把本地数据库导入到服务器宝塔怎么备份服务器数据库服务器上是否需要安装数据库服务器里面的数据库

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

一日一技：pandas 中，如何分组再取 N项？

摄影：产品经理还在吃火锅在 pandas 中，DataFrame 是我们经常用到的工具。有时候，我们可能会需要对数据按某个字段进行分组，然后每个组取N项。例如：现在，我想每个职位任取三个用户。...相信有同学会使用 for 循环，依次循环每一行，每个职位选3个，存入一个临时的列表里面。循环完成以后再转成一个新的 DataFrame。但这个方式显然不够智能。...那么，我们有没有什么办法能够不使用循环就做到这一步呢？也许有同学想到了使用 groupby。我们来看看效果。看起来仅仅是统计了每个职位的数量。那么，如何才能保留所有字段呢？...如下图所示：这段话告诉我们，要使用itertools.groupby，我们需要提前对被分组的字段进行排序。...那么，我们试一试在如果提前对 DataFrame 进行排序，然后再 groupby 会怎么样：成功了。每个职位都取了3个。可能大家发现最左边的索引是乱序，看起来不好看。

6381 0

使用 Python 对相似索引元素上的记录进行分组

在 Python 中，可以使用 pandas 和 numpy 等库对类似索引元素上的记录进行分组，这些库提供了多个函数来执行分组。基于相似索引元素的记录分组用于数据分析和操作。...第二行代码使用键（项）访问组字典中与该键关联的列表，并将该项追加到列表中。例在下面的示例中，我们使用了一个默认词典，其中列表作为默认值。....groupby（） Python 中的 itertools 模块提供了一个 groupby（）函数，该函数根据键函数对可迭代对象的元素进行分组。...语法 list_name.append(element) 在这里，append（）函数是一个列表方法，用于将元素添加到list_name的末尾。它通过将指定的元素添加为新项来修改原始列表。...例在下面的示例中，我们使用了 itertools 模块中的 groupby（）函数。在应用 groupby（）函数之前，我们使用 lambda 函数根据日期对事件列表进行排序。

1933 0

Python标准库笔记(10) — itertools模块

它们的目的是快速有效地使用内存，并且将它们关联在一起以表示更复杂的基于迭代的算法。基于迭代器的代码比使用列表的代码提供了更好的内存消耗特性。...除了 itertools 中定义的函数之外，本文中的示例还使用了一些内置函数进行迭代。...，用于通过索引返回输入迭代器的指定项。...在第二个例子中，函数将从两个单独的迭代器中获取的两个参数相乘，并返回一个包含原始参数和计算值的元组。第三个例子中，在生成了两个元组之后便停止了，因为第二个输入已经耗尽。...# OutPut ('a', 'b') ('a', 'c') ('b', 'c') 因为 combination() 不重复单个输入元素，但考虑有时需要包含重复元素的组合。

1.7K6 0

Python语言的精华:Itertools库

我们可以使用Itertools模块来丰富我们的应用程序，并在更短的时间内创建一个可靠的工作解决方案。本文将帮助读者理解如何在项目中使用Itertools模块。...它有一个__getitem__方法，它可以从0开始取连续索引(并在索引不再有效时引发一个IndexError)。什么是Itertools?...或者，也许我们想要重复迭代器的元素? itertools库提供了一组函数，我们可以使用这些函数来执行所需的所有功能。本节中列出的三个函数构造并返回可以是无限项流的迭代器。...如果我们不提供第二个参数，那么它将无限次重复这个字符串。终止迭代器在本节中，我将说明终止迭代的强大特性。...或者当我们有很多函数想要对iterable的每个元素执行时或者有时我们就从迭代器中删除元素，然后对其他元素执行操作。

8872 0

python中对list去重的多种方法

) for k, g in it: print k 关于itertools.groupby的原理可以看这里：(1) http://docs.python.org/2/library/itertools.html...去列表去重，不改变原来的顺序，还可以使用一个空列表把原列表里面不重复的数据”装起来”，例如： list2 = [] list1 = [1,2,3,2,2,2,4,6,5] for i in list1:...if i not in list2: list2.append(i) list2 [1, 2, 3, 4, 6, 5] 或者使用删除元素索引的方法对列表去重，并且不改变原列表的顺序...# python for删除的时候会往前移(垃圾回收机制)，未遍历到的后一个占了前一个被删除的"位置"，导致这个数不会被遍历到，而使最后的结果错误 # 局部变量在栈内存中存在,当for循环语句结束,那么变量会及时被...# 所以使用while循环删除nums中的Val(的下标) nums = [1,2,3,3,4,2,3,4,5,6,1] val = 3 while val in nums: nums.pop

1.3K3 0

Leetcode 【583、809、816】

Expressive Words 解题思路：这道题是给一个字符串S和一个单词数组，S是数组中的单词通过重复某些字符至少三次得到的，找到符合的单词。...保存在列表中；然后，判断S的分割能否被 word 的分割一一对应上。...如果两个列表长度不对应，说明不满足题意，终止判断；如果对应字符不相等或者word中某字符的长度大于S对应字符的长度，说明不满足题意，终止判断；如果word中某字符的长度等于S对应字符的长度，继续判断...将字符串的分割可以利用 Python 的 itertools 中的 groupby 函数，用法是： base = [(x[0], len(list(x[1]))) for x in groupby("...这道题的做法很朴素，可以先保存所有的分割情况到列表中，其中包括非法的坐标，然后再将非法的坐标从列表中删除即可。编程时要注意考虑到所有非法的情况。

5752 0

这段代码很Pythonic | 相见恨晚的 itertools 库

itertools库迭代器（生成器）在Python中是一种很常用也很好用的数据结构，比起列表(list)来说，迭代器最大的优势就是延迟计算，按需使用，从而提高开发体验和运行效率，以至于在Python...3中map,filter等操作返回的不再是列表而是迭代器。...话虽这么说但大家平时用到的迭代器大概只有range了，而通过iter函数把列表对象转化为迭代器对象又有点多此一举，这时候我们今天的主角itertools就该上场了。...使用itertools itertools中的函数大多是返回各种迭代器对象，其中很多函数的作用我们平时要写很多代码才能达到，而在运行效率上反而更低，毕竟人家是系统库。...] itertools.combinations 求列表或生成器中指定数目的元素不重复的所有组合 >>> x = itertools.combinations(range(4), 3) >>> print

5673 0

Python常用小技巧总结

others Python合并多个EXCEL工作表 pandas中Series和Dataframe数据类型互转相同字段合并 Python小技巧简单的表达式列表推导式交换变量检查对象使用内存情况...合并字典字符串分割成列表字符串列表创建字符串 Python查看图片 itertools模块combinations itertools中reduce 字典.get()方法解压zip压缩包到指定文件路径...] # 返回第⼀列的第⼀个元素 df.loc[0,:] # 返回第⼀⾏（索引为默认的数字时，⽤法同df.iloc），但需要注意的是loc是按索引,iloc参数只接受数字参数 df.ix[[:5],[...对象中的⾮空值，并返回⼀个Boolean数组 df.dropna() # 删除所有包含空值的⾏ df.dropna(axis=1) # 删除所有包含空值的列 df.dropna(axis=1,thresh...模块combinations combinations(iterable, r)方法可以创建一个迭代器，返回iterable中所有长度为r的子序列，返回的子序列中的项按输入iterable中的顺序排序。

9.4K2 0

相见恨晚的 Python 内置库：itertools

02 itertools库迭代器（生成器）在Python中是一种很常用也很好用的数据结构，比起列表(list)来说，迭代器最大的优势就是延迟计算，按需使用，从而提高开发体验和运行效率，以至于在Python...3中map,filter等操作返回的不再是列表而是迭代器。...话虽这么说但大家平时用到的迭代器大概只有range了，而通过iter函数把列表对象转化为迭代器对象又有点多此一举，这时候我们今天的主角itertools就该上场了。...03 使用itertools itertools中的函数大多是返回各种迭代器对象，其中很多函数的作用我们平时要写很多代码才能达到，而在运行效率上反而更低，毕竟人家是系统库。...] itertools.combinations求列表或生成器中指定数目的元素不重复的所有组合 >>> x = itertools.combinations(range(4), 3) >>> print

6262 0

一句Python，一句R︱数据的合并、分组、排序、翻转、集合

b = t & s # t 和 s的交集 c = t – s # 求差集（项在t中，但不在s中） d = t ^ s...# 对称差集（项在t或s中，但不会同时出现在二者中）基本操作： t.add('x') # 添加一项 s.update([10,37,42]) # 在s中添加多项...使用remove()可以删除一项： t.remove('H') 还有： len(s) set 的长度 x in s 测试 x 是否是 s 的成员 x not...2、去重记得以前个网友提问怎么去除海量列表里重复元素，用hash来解决也行，只不过感觉在性能上不是很高，用set解决还是很不错的，示例如下： >>> a = [11,22,33,44,11,22]...组合,有重复 >>> import itertools >>> for i in itertools.product('ABCD', repeat = 2): ...

1.2K2 0

这段代码很Pythonic | 相见恨晚的 itertools 库

itertools库迭代器（生成器）在Python中是一种很常用也很好用的数据结构，比起列表(list)来说，迭代器最大的优势就是延迟计算，按需使用，从而提高开发体验和运行效率，以至于在Python...3中map,filter等操作返回的不再是列表而是迭代器。...话虽这么说但大家平时用到的迭代器大概只有range了，而通过iter函数把列表对象转化为迭代器对象又有点多此一举，这时候我们今天的主角itertools就该上场了。...使用itertools itertools中的函数大多是返回各种迭代器对象，其中很多函数的作用我们平时要写很多代码才能达到，而在运行效率上反而更低，毕竟人家是系统库。...] itertools.combinations 求列表或生成器中指定数目的元素不重复的所有组合 >>> x = itertools.combinations(range(4), 3) >>> print

5463 0

Python进阶：设计模式之迭代器模式

使用迭代器模式，可以不关心遍历的对象具体是什么（如字符串、列表、字典等等），也不需要关心遍历的实现算法是什么，它关心的是从容器中遍历/取出元素的结果。...list 是可迭代对象（Iterable），但并不是迭代器（虽然在底层实现时用了迭代器的部分思想）。...以上方法，比较常用的有：chain() 将多个可迭代对象（可以是不同类型）连接成一个大迭代器；compress() 方法根据真假过滤器筛选元素；groupby() 把迭代器中相邻的重复元素挑出来放在一起...注意：众所周知，Python 中序列的索引值从 0 开始，但是，enumerate() 可以达到改变起始索引数值的效果。...，遍历可迭代对象执行判断函数，过滤下判断为True 的元素，与它相对，若想保留判断为 False 的元素，可使用 itertoole 模块的 filterfalse() 方法。

6354 0

pandas每天一题-题目19：炸列操作的多种方式

一个订单会包含很多明细项，表中每个样本(每一行)表示一个明细项 order_id 列存在重复 item_name 是明细项物品名前面章节讲解过的知识点，本文不再讲解！...，然后对列做 explode 注意返回结果的行索引，这能给出另一种解法的提示 ---- 重排索引很不幸，如果你使用比较旧版本的 pandas，怎么办？...实际就是有一个列表，里面的元素都是列表，怎么展平成一个列表： from itertools import chain list(chain.from_iterable([[1,2,3],[4,5]]...reindex 可以重复多行数据： df.reindex([0,0,1,1,2,2,3,3]) reindex 中指定的是行索引列表怎么知道每个订单需要拆分的行数： dfx = df.assign...explode 一样的结果总结： itertools.chain 展开 list 中 list numpy.repeat 重复生成指定次数的数据 DataFrame.reindex 按指定行索引值，

5702 0

53个技巧！老司机熬夜总结Python 实用和高性能技巧大集合！

，（浅）复制中的元素是原列表中元素的别名，而深层复制是递归的进行复制，对深层复制的修改不影响原变量。...) # 如果找不到抛出ValueError异常 1.7 List 后向索引这个只是习惯问题，前向索引时下标从0开始，如果反向索引也想从0开始可以使用~。...会保留 2.9 文件路径拼接 C/C++ 的习惯通常直接用 + 将路径拼接，这很容易出错，Python 中的 os.path.join 会自动根据操作系统不同补充路径之间的 / 或 \ 分隔符： import...会无参数调用type，给dict[key]提供一个初始值 3.5 有序 Dict import collections collections.OrderedDict(items=None) # 迭代时保留原始插入顺序...避免使用全局变量。局部变量的查找比全局变量更快，将全局变量的代码定义在函数中运行通常会快 15%-30%。避免使用.访问属性。

1.1K2 0

Python3标准库built-in、

注意：通过list(generator)可以将生成器对象转换为列表，但如果是无限生成器list将会产生大量元素导致出错。 filter函数等同于下面的生成器表达式用法。...) 该函数与itertools.takewhile相反，过滤了iterable对象前面符合predicate返回True的元素，保留后面的子集。...map将word中的每个元素转换为大写，和第二行中的列表生成式用法相似。...itertools.starmap(function, iterable) 当iterable中的元素也是个迭代对象时，如果使用map函数，需要在函数内部实现解压操作获取到单个元素，而startmap将...，它的主要用法是提供for-in循环中的索引。

1.5K1 0

Python 使用和高性能技巧总结

，（浅）复制中的元素是原列表中元素的别名，而深层复制是递归的进行复制，对深层复制的修改不影响原变量。...) # 如果找不到抛出ValueError异常 1.7 List 后向索引这个只是习惯问题，前向索引时下标从0开始，如果反向索引也想从0开始可以使用~。...会保留 2.9 文件路径拼接 C/C++ 的习惯通常直接用 + 将路径拼接，这很容易出错，Python 中的 os.path.join 会自动根据操作系统不同补充路径之间的 / 或 \ 分隔符： import...会无参数调用type，给dict[key]提供一个初始值 3.5 有序 Dict import collections collections.OrderedDict(items=None) # 迭代时保留原始插入顺序...避免使用全局变量。局部变量的查找比全局变量更快，将全局变量的代码定义在函数中运行通常会快 15%-30%。避免使用.访问属性。

8511 0

Python 使用和高性能技巧总结

，（浅）复制中的元素是原列表中元素的别名，而深层复制是递归的进行复制，对深层复制的修改不影响原变量。...) # 如果找不到抛出ValueError异常 1.7 List 后向索引这个只是习惯问题，前向索引时下标从0开始，如果反向索引也想从0开始可以使用~。...会保留 2.9 文件路径拼接 C/C++ 的习惯通常直接用 + 将路径拼接，这很容易出错，Python 中的 os.path.join 会自动根据操作系统不同补充路径之间的 / 或 \ 分隔符： import...会无参数调用type，给dict[key]提供一个初始值 3.5 有序 Dict import collections collections.OrderedDict(items=None) # 迭代时保留原始插入顺序...避免使用全局变量。局部变量的查找比全局变量更快，将全局变量的代码定义在函数中运行通常会快 15%-30%。避免使用.访问属性。

7053 0

python 迭代器、生成器、yield、iter

返回 self，以便在应该使用可迭代对象的地方使用迭代器，例如在 for 循环中不要在可迭代对象的类中实现迭代器，一举两得？...生成器只要 Python 函数的定义体中有 yield 关键字，该函数就是生成器函数调用生成器函数时，会返回一个生成器对象惰性获取匹配项 re.finditer ，可以节省内存和无效工作生成器表达式可以理解为列表推导的惰性版本...)) # A B C A, 产生元素的副本，不断重复 print(list(itertools.islice(cy, 7))) # ['B', 'C', 'A', 'B', 'C', 'A', 'B']...("ALLLLAAGGG"): print(char, "->", list(group)) # A -> ['A'] # 没有相邻的A # L -> ['L', 'L', 'L', 'L']...那个参数都会成为生成器函数定义体中对应的 yield 表达式的值

1.1K2 0

进阶的运维开发（二）- 迭代器和生成器

# compress(iterable, selectors) 根据selectors返回相应的iterable对应索引的值 gen=itertools.compress('abcd', [1, 0...import itertools # groupby(iterable[, key]) 按照分组的子迭代器 for key, items in itertools.groupby(data, key...=lambda u:u): print(key) for item in items: print(item) group只检查相连的项按客户ip分组nginx日志 from itertools...[('a', 'a'), ('a', 'b'), ('a', 'c'), ('b', 'b'), ('b', 'c'), ('c', 'c')] 生成器生成器就是迭代器，生成器不会把结果保存在一个列表中...True: yield ret incr += 1 ret *= incr gen=factorial() next(gen) 1 next(gen) 2 next(gen) 6 # 从列表中读取生成器数据

6351 0

20个Python使用小技巧

，（浅）复制中的元素是原列表中元素的别名，而深层复制是递归的进行复制，对深层复制的修改不影响原变量。...) # 如果找不到抛出ValueError异常 1.7 List 后向索引这个只是习惯问题，前向索引时下标从0开始，如果反向索引也想从0开始可以使用~。...会无参数调用type，给dict[key]提供一个初始值 2.5 有序 Dict import collections collections.OrderedDict(items=None) # 迭代时保留原始插入顺序...避免使用全局变量。局部变量的查找比全局变量更快，将全局变量的代码定义在函数中运行通常会快 15%-30%。避免使用.访问属性。...使用 from module import name 会更快，将频繁访问的类的成员变量 self.member 放入到一个局部变量中。尽量使用内置数据结构。

6192 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭