Как найти уникальные строки и удалить все дубликаты из файла? Мой входной файл

1
1
2
3
5
5
7
7

Я бы хотел, чтобы результат был:

2
3

sort file | uniqне будет работать. Покажет все значения 1 раз

uniq есть вариант, который вам нужен:

   -u, --unique
          only print unique lines

$ cat file.txt
1
1
2
3
5
5
7
7
$ uniq -u file.txt
2
3

Используйте следующим образом:

sort < filea | uniq > fileb

Вы также можете распечатать уникальное значение в «файле» с помощью catкоманды, подключившись к sortиuniq

cat file | sort | uniq -u

uniq -u сводил меня с ума, потому что он не работал.

Итак, вместо этого, если у вас есть python (в большинстве дистрибутивов и серверов Linux он уже есть):

Предполагая, что у вас есть файл данных в notUnique.txt

#Python
#Assuming file has data on different lines
#Otherwise fix split() accordingly.

uniqueData = []
fileData = open('notUnique.txt').read().split('\n')

for i in fileData:
  if i.strip()!='':
    uniqueData.append(i)

print uniqueData

###Another option (less keystrokes):
set(open('notUnique.txt').read().split('\n'))

Обратите внимание, что из-за пустых строк окончательный набор может содержать строки «» или только пробелы. Вы можете удалить это позже. Или просто уйти от копирования с терминала;)

Просто к сведению, со страницы uniq Man:

«Примечание. 'Uniq' не обнаруживает повторяющиеся строки, если они не являются смежными. Вы можете сначала отсортировать ввод или использовать 'sort -u' без 'uniq'. Кроме того, при сравнении соблюдаются правила, указанные в 'LC_COLLATE'».

Один из правильных способов вызова: # sort nonUnique.txt | уникальный

Пример выполнения:

$ cat x
3
1
2
2
2
3
1
3

$ uniq x
3
1
2
3
1
3

$ uniq -u x
3
1
3
1
3

$ sort x | uniq
1
2
3

Пробелы могут быть напечатаны, так что будьте готовы!

Хотя sortзанимает время O (n log (n)), я предпочитаю использовать

awk '!seen[$0]++'

awk '!seen[$0]++'является сокращением для awk '!seen[$0]++ {print}'строки печати (= $ 0), если seen[$0]не равно нулю. Это займет больше места, но только O (n) времени.

ты можешь использовать:

sort data.txt| uniq -u

эти данные сортируются и фильтруются по уникальным значениям

uniq -u < file сделаю свою работу.

uniqдолжен работать нормально, если ваш файл / может быть отсортирован, если вы не можете отсортировать файл по какой-то причине, вы можете использовать awk:

awk '{a[$0]++}END{for(i in a)if(a[i]<2)print i}'

sort -d "file name" | uniq -u

это сработало для меня для аналогичного. Используйте это, если это не устроено. Вы можете удалить сортировку, если она организована

Мне так легче.

sort -u input_filename > output_filename

-u означает уникальный.

Это был первый я пробовал

skilla:~# uniq -u all.sorted  

76679787
76679787 
76794979
76794979 
76869286
76869286 
......

После выполнения cat -e all.sorted

skilla:~# cat -e all.sorted 
$
76679787$
76679787 $
76701427$
76701427$
76794979$
76794979 $
76869286$
76869286 $

Каждая вторая строка имеет конечный пробел :( После удаления всех конечных пробелов все заработало!

Спасибо