首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在Python中,从列表中删除重复项的最快算法是什么,以便所有元素都是唯一的,同时保持顺序*?

在Python中,从列表中删除重复项的最快算法是什么,以便所有元素都是唯一的,同时保持顺序*?
EN

Stack Overflow用户
提问于 2008-09-18 01:25:21
回答 26查看 35.4K关注 0票数 45

例如:

代码语言:javascript
运行
复制
>>> x = [1, 1, 2, 'a', 'a', 3]
>>> unique(x)
[1, 2, 'a', 3]

假设列表元素是可引用的。

Clarification:结果应该保留列表中的第一个副本。例如,1,2,3,2,3,1变成1,2,3。

EN

回答 26

Stack Overflow用户

发布于 2008-09-18 01:41:18

代码语言:javascript
运行
复制
def unique(items):
    found = set()
    keep = []

    for item in items:
        if item not in found:
            found.add(item)
            keep.append(item)
            
    return keep

print unique([1, 1, 2, 'a', 'a', 3])
票数 33
EN

Stack Overflow用户

发布于 2008-09-18 05:14:19

使用:

代码语言:javascript
运行
复制
lst = [8, 8, 9, 9, 7, 15, 15, 2, 20, 13, 2, 24, 6, 11, 7, 12, 4, 10, 18, 13, 23, 11, 3, 11, 12, 10, 4, 5, 4, 22, 6, 3, 19, 14, 21, 11, 1, 5, 14, 8, 0, 1, 16, 5, 10, 13, 17, 1, 16, 17, 12, 6, 10, 0, 3, 9, 9, 3, 7, 7, 6, 6, 7, 5, 14, 18, 12, 19, 2, 8, 9, 0, 8, 4, 5]

并使用timeit模块:

代码语言:javascript
运行
复制
$ python -m timeit -s 'import uniquetest' 'uniquetest.etchasketch(uniquetest.lst)'

诸如此类的其他功能(我以他们的海报命名),我有以下结果(关于我的第一代英特尔MacBook Pro):

代码语言:javascript
运行
复制
Allen:                  14.6 µs per loop [1]
Terhorst:               26.6 µs per loop
Tarle:                  44.7 µs per loop
ctcherry:               44.8 µs per loop
Etchasketch 1 (short):  64.6 µs per loop
Schinckel:              65.0 µs per loop
Etchasketch 2:          71.6 µs per loop
Little:                 89.4 µs per loop
Tyler:                 179.0 µs per loop

注意,艾伦修改了列表--我认为这已经扭曲了时间,因为timeit模块运行了100000次代码,其中99999次使用的是无欺骗列表。

汇总:使用集合的直进实现胜于令人困惑的一行程序:-)

票数 20
EN

Stack Overflow用户

发布于 2008-09-18 01:33:44

什么是最快的取决于您的列表中的百分比是重复的。如果它几乎是所有重复的,几乎没有唯一的项目,创建一个新的列表可能会更快。如果它主要是唯一的项目,从原始列表(或副本)中删除它们将更快。

这里有一个用来修改列表的方法:

代码语言:javascript
运行
复制
def unique(items):
  seen = set()
  for i in xrange(len(items)-1, -1, -1):
    it = items[i]
    if it in seen:
      del items[i]
    else:
      seen.add(it)

对索引进行反向迭代确保删除项不影响迭代。

票数 15
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/89178

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档