Home / Questions / 87813
Accepted
Jorge Ponti
Asked: 2020-07-19 10:27:38 +0800 CST 2020-07-19 10:27:38 +0800 CST

Удалить повторяющиеся элементы в списке

  • 772

Мне нужно найти наиболее эффективный способ удаления дубликатов из списка в Python.

Я делаю это следующим образом:

for i in mj:
    if i not in mj2:
        mj2.append(i)

где kjсписок похож, [2, 4, 4, 4, 4, 4, 9, 9]а вывод mj2имеет форму:

   [2, 4, 9]

Есть более эффективный способ, который не включает циклы, так как мне приходится анализировать большие списки.

python

4 Answers

  1. Best Answer

    Самый простой — использовать set():

    >>> mj = [2, 4, 4, 4, 4, 4, 9, 9]
>>> mj2 = set(mj1)
>>> mj2
set([9, 2, 4])
>>> list(mj2)
[9, 2, 4]

    Если вы хотите сохранить порядок (поскольку setsэто неупорядоченный список элементов), вы можете передать a sortв конце:

    >>> sorted(list(mj2))
[2, 4, 9]

    Другой вариант, если ваш список изначально упорядочен и вы хотите сохранить порядок, вы можете использовать класс OrderedDictи использовать его для поддержания этого порядка:

    >>> from collections import OrderedDict
>>> OrderedDict.fromkeys(mj)
OrderedDict([(2, None), (4, None), (9, None)])
>>> OrderedDict.fromkeys(mj).keys()
[2, 4, 9]

    OrderedDictпредставляет собой реализацию словарей, которая позволяет вам «запоминать» порядок, в котором были вставлены его элементы. Следовательно, вы можете использовать fromkeysметод словаря для использования элементов в mjкачестве ключей словаря, поскольку элементы mjпредварительно упорядочены, поэтому порядок сохраняется.

    • 15

  2. Вы можете проверить производительность с помощью следующей строки кода: 

    mj2 = sorted(set(mj))

    хотя использование sorted может потреблять некоторый ресурс. Если у вас нет проблем с заказом, вы можете использовать его следующим образом:

    mj2 = set(mj)
    • 4

  3. Если исходный список очень большой и упорядоченный, гораздо эффективнее использовать itetools.groupbyкоторый создает итератор без создания новых списков:

    from itetools import groupby

mj2 = (k for (k,_) in groupby(m2))

    Можно получить первые элементы без обработки всего списка:

    first = next(mj2)
second = next(mj2)
...
    • 3

  4. Для «групп» вы можете сделать это и так.

    grupos= [['calculo', 1], ['calculo', 1], ['calculo', 1], ['Algebra', 5], ['Algebra', 5], ['Algebra', 5]]

grupos_sin_repetir = []
for i in grupos:
    if i not in grupos_sin_repetir:        
      grupos_sin_repetir.append(i)
    
print(grupos_sin_repetir)
    • 1