Home / Questions / 87813
Accepted
Jorge Ponti
Asked: 2020-07-19 10:27:38 +0800 CST 2020-07-19 10:27:38 +0800 CST

删除列表中的重复项

  • 772

我需要找到从 Python 列表中删除重复项的最有效方法。

我这样做是这样的：

for i in mj:
    if i not in mj2:
        mj2.append(i)

wherekj是一个列表[2, 4, 4, 4, 4, 4, 9, 9]，输出mj2格式为：

   [2, 4, 9]

有一种更有效的方法不包括循环，因为我必须解析大型列表。

python

4 Answers

  1. Best Answer

    最简单的是使用set()：

    >>> mj = [2, 4, 4, 4, 4, 4, 9, 9]
>>> mj2 = set(mj1)
>>> mj2
set([9, 2, 4])
>>> list(mj2)
[9, 2, 4]

    如果要保持顺序（因为sets是元素的无序列表），可以sort在末尾传递 a ：

    >>> sorted(list(mj2))
[2, 4, 9]

    另一种选择，如果您的列表最初是有序的并且您想保持顺序，您可以使用该类OrderedDict并利用它来维护此顺序：

    >>> from collections import OrderedDict
>>> OrderedDict.fromkeys(mj)
OrderedDict([(2, None), (4, None), (9, None)])
>>> OrderedDict.fromkeys(mj).keys()
[2, 4, 9]

    OrderedDict是一个字典的实现，它允许你“记住”它的元素被插入的顺序。因此，您可以使用fromkeys字典方法将元素mj用作字典的键，因为元素mj是预先排序的，因此顺序得以保留。

    • 15

  2. 您可以使用以下代码行测试性能如何： 

    mj2 = sorted(set(mj))

    尽管使用 sorted 会消耗一些资源。如果您对订单没有问题，您可以使用如下：

    mj2 = set(mj)
    • 4

  3. itetools.groupby如果原始列表非常大且有序，则使用创建迭代器而不创建新列表的效率要高得多：

    from itetools import groupby

mj2 = (k for (k,_) in groupby(m2))

    可以在不处理整个列表的情况下获取第一个元素：

    first = next(mj2)
second = next(mj2)
...
    • 3

  4. 对于“组”，您也可以这样做。

    grupos= [['calculo', 1], ['calculo', 1], ['calculo', 1], ['Algebra', 5], ['Algebra', 5], ['Algebra', 5]]

grupos_sin_repetir = []
for i in grupos:
    if i not in grupos_sin_repetir:        
      grupos_sin_repetir.append(i)
    
print(grupos_sin_repetir)
    • 1