Как уникальна уникальность uniq, что существует и уникальная уникальность?

Вот команды для случайного файла из pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Страницы руководства не ясно о том, что -uделает флаг. Любой совет?

Укороченная версия:

• uniq, без -u, делает каждую строку вывода уникальной.
• uniq -uпечатает только каждую уникальную строку из ввода .

Чуть более длинная версия:

uniqпредназначен для работы с файлами с дублированными строками, и только тогда, когда эти строки появляются последовательно во входных данных. Таким образом, для своих целей уникальная строка - это строка, которая не дублируется сразу.

( uniqимеет очень ограниченную кратковременную память; он никогда не будет помнить, появилась ли ранее строка на входе, если это не была непосредственно предыдущая строка - вот почему uniqочень часто в паре с sort.)

Когда встречается повторяющиеся строки, uniqбез -uаргумента печатается одна копия этой строки. (Это делает каждую строку вывода уникальной ).

С -uаргументом он печатает ноль копий этой строки - серии дубликатов просто исключаются из вывода.

uniqс -uпропускает любые строки, которые имеют дубликаты. Таким образом:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Обычно uniqпечатает строки не более одного раза (при условии отсортированного ввода). Эта опция на самом деле печатает строки, которые действительно уникальны (не появившись снова).

Спецификация uniq POSIX описала это ясно:

-u
    Suppress the writing of lines that are repeated in the input.

-uопция make uniqне печатать повторяющиеся строки.

В большинстве uniqреализаций использовалось сравнение байтов, а в GNU uniqиспользовался порядок сортировки для фильтрации дублированных строк. Таким образом, он может давать неправильный результат в некоторых локалях, например в en_US.UTF-8локали:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

и не -uдал вам никаких строк:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Таким образом, вы должны установить locale Cдля получения байтового сравнения:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

обычный:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: нет двух последовательных повторяющихся строк

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

отсортированный

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: нет двух повторяющихся строк

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

сортировка / уникальность: все различно

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

считает различные случаи

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

только строки, которые не повторяются (не отсортированы первыми)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

только строки, которые не повторяются (после сортировки)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: печатать только повторяющиеся строки, по одной для каждой группы

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. посчитал

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c