Удалить все элементы, которые встречаются в одном списке из другого

Допустим, у меня есть два списка, l1и l2. Я хочу выполнить l1 - l2, который возвращает все элементы l1не в l2.

Я могу думать о подходе наивного цикла, но это будет действительно неэффективно. Каков питонный и эффективный способ сделать это?

В качестве примера, если у меня есть l1 = [1,2,6,8] and l2 = [2,3,5,8], l1 - l2должен вернуться[1,6]

В Python есть языковая функция, называемая списками, которая идеально подходит для того, чтобы сделать подобные вещи чрезвычайно простыми. Следующий оператор делает именно то, что вы хотите, и сохраняет результат в l3:

l3 = [x for x in l1 if x not in l2]

l3будет содержать [1, 6].

Одним из способов является использование наборов:

>>> set([1,2,6,8]) - set([2,3,5,8])
set([1, 6])

В качестве альтернативы вы также можете использовать filterлямбда-выражение для получения желаемого результата. Например:

>>> l1 = [1,2,6,8]
>>> l2 = set([2,3,5,8])

#     v  `filter` returns the a iterator object. Here I'm type-casting 
#     v  it to `list` in order to display the resultant value
>>> list(filter(lambda x: x not in l2, l1))
[1, 6]

Сравнение производительности

Здесь я сравниваю эффективность всех ответов, упомянутых здесь. Как и ожидалось, операция на set базе Arkku является самой быстрой.

• Разница в наборе Арку - первая (0,124 мкс за цикл)

  mquadri$ python -m timeit -s "l1 = set([1,2,6,8]); l2 = set([2,3,5,8]);" "l1 - l2"
  10000000 loops, best of 3: 0.124 usec per loop
  

• Понимание списка Даниэля Придена с setпоиском - Второе (0,302 мксек за цикл)

  mquadri$ python -m timeit -s "l1 = [1,2,6,8]; l2 = set([2,3,5,8]);" "[x for x in l1 if x not in l2]"
  1000000 loops, best of 3: 0.302 usec per loop
  

• Понятие списка пончиков в простом списке - третье (0,552 мкс за цикл)

  mquadri$ python -m timeit -s "l1 = [1,2,6,8]; l2 = [2,3,5,8];" "[x for x in l1 if x not in l2]"
  1000000 loops, best of 3: 0.552 usec per loop
  

• Использованиеfilter Мойнуддина Квадри - Четвертое (0,972 чел. За цикл)

  mquadri$ python -m timeit -s "l1 = [1,2,6,8]; l2 = set([2,3,5,8]);" "filter(lambda x: x not in l2, l1)"
  1000000 loops, best of 3: 0.972 usec per loop
  

• Акшай Хазари использует комбинацию reduce+filter - Пятое (3,97 юсек за цикл)

  mquadri$ python -m timeit "l1 = [1,2,6,8]; l2 = [2,3,5,8];" "reduce(lambda x,y : filter(lambda z: z!=y,x) ,l1,l2)"
  100000 loops, best of 3: 3.97 usec per loop
  

PS: set не поддерживает порядок и удаляет дубликаты элементов из списка. Следовательно, не используйте набор разностей, если вам нужно что-то из этого.

Расширяя ответ Donut и другие ответы здесь, вы можете получить еще лучшие результаты, используя понимание генератора вместо понимания списка, и используя setструктуру данных (так как inоператор - O (n) в списке, но O (1) на съемочной площадке).

Итак, вот функция, которая будет работать для вас:

def filter_list(full_list, excludes):
    s = set(excludes)
    return (x for x in full_list if x not in s)

Результатом будет итерация, которая будет лениво извлекать отфильтрованный список. Если вам нужен реальный объект списка (например, если вам нужно сделать len()результат для результата), то вы можете легко построить список следующим образом:

filtered_list = list(filter_list(full_list, excludes))

Используйте тип набора Python. Это было бы самым Pythonic. :)

Кроме того, поскольку он является нативным, он также должен быть наиболее оптимизированным.

Видеть:

http://docs.python.org/library/stdtypes.html#set

http://docs.python.org/library/sets.htm (для старых питонов)

# Using Python 2.7 set literal format.
# Otherwise, use: l1 = set([1,2,6,8])
#
l1 = {1,2,6,8}
l2 = {2,3,5,8}
l3 = l1 - l2

используйте Set Comppresions {x для x в l2} или set (l2), чтобы получить set, затем используйте List Compreatsions, чтобы получить список

l2set = set(l2)
l3 = [x for x in l1 if x not in l2set]

тестовый код:

import time

l1 = list(range(1000*10 * 3))
l2 = list(range(1000*10 * 2))

l2set = {x for x in l2}

tic = time.time()
l3 = [x for x in l1 if x not in l2set]
toc = time.time()
diffset = toc-tic
print(diffset)

tic = time.time()
l3 = [x for x in l1 if x not in l2]
toc = time.time()
difflist = toc-tic
print(difflist)

print("speedup %fx"%(difflist/diffset))

Результат теста производительности:

0.0015058517456054688
3.968189239501953
speedup 2635.179227x    

Альтернативное решение:

reduce(lambda x,y : filter(lambda z: z!=y,x) ,[2,3,5,8],[1,2,6,8])