Проверьте все строки файла уникальны

У меня есть текстовый файл, содержащий такие строки:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Как я могу быть уверен в уникальности каждой строки?

ПРИМЕЧАНИЕ . Цель состоит в том, чтобы протестировать файл, а не изменять его, если присутствуют повторяющиеся строки.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awk решение:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Используя sort/ uniq:

sort input.txt | uniq

Для проверки только на наличие дублирующих строк используйте -dопцию uniq. Это покажет только дубликаты строк, если нет, то ничего не будет показано:

sort input.txt | uniq -d

TLDR

Первоначальный вопрос был неясен, и прочитал, что OP просто хотел уникальную версию содержимого файла. Это показано ниже. В обновленной форме вопроса ОП теперь заявляет, что он / она просто хочет знать, является ли содержимое файла уникальным или нет.

Проверьте, является ли содержимое файла уникальным или нет

Вы можете просто использовать, sortчтобы проверить, является ли файл уникальным или содержит дубликаты, например:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

пример

Скажем, у меня есть эти два файла:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Теперь, когда мы анализируем эти файлы, мы можем сказать, являются ли они уникальными или содержат дубликаты:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Оригинальный вопрос (уникальное содержимое файла)

Может быть сделано только с sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

Я обычно делаю sortфайл, затем использую uniqдля подсчета количества дубликатов, затем sortеще раз вижу дубликаты внизу списка.

Я добавил один дубликат к предоставленным вами примерам:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Поскольку я uniqнекоторое время не читал справочную страницу , я быстро рассмотрел любые альтернативы. Следующее устраняет необходимость во второй сортировке, если вы просто хотите увидеть дубликаты:

$ sort thread.file | uniq -d
This is a thread  139737505302272

Если дубликатов нет, все строки уникальны:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Описание: Сортировка строк файла, чтобы сделать повторяющиеся строки подряд (sort)
Извлечь все последовательные строки, которые равны (uniq -d).
Если есть какой-либо вывод команды выше ( [...]), то ( &&) выведите сообщение.

Это не будет полным без ответа Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Это напечатает каждую неуникальную строку один раз: поэтому, если она ничего не печатает, то в файле есть все уникальные строки.

Использование cmpи sortв bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

или

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Это будет отсортировать файл дважды, как и принятый ответ.