Вопросы с тегом «uniq»

Везде, где я вижу, кто-то должен получить отсортированный, уникальный список, к которому они всегда обращаются sort | uniq. Я никогда не видел примеров, где кто-то использует sort -uвместо этого. Почему нет? В чем разница, и почему для сортировки лучше использовать uniq, чем уникальный флаг?

120 bash  sort  uniq 

Я действительно наслаждаюсь control+rрекурсивным поиском в моей истории команд. Я нашел несколько хороших вариантов, которые мне нравится использовать с ним: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good for …

61 bash  command-line  command-history  sort  uniq 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ В результате мне нужно отобразить все строки исходного файла, удалив все дубликаты (не только последовательные), сохранив при этом исходный порядок операторов …

40 text-processing  uniq 

Эта однострочная строка удаляет повторяющиеся строки из текстового ввода без предварительной сортировки. Например: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Оригинальный код, который я нашел в интернете, читал: awk '!_[$0]++' Это было еще более озадачивающим для меня, так как я …

40 shell-script  awk  scripting  sort  uniq 

Вот команды для случайного файла из pastebin : wget -qO - http://pastebin.com/0cSPs9LR | wc -l 350 wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l 287 wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc …

35 uniq 

Есть ли способ найти все файлы в каталоге с дублирующимися именами файлов, независимо от регистра (верхнего и / или нижнего регистра)?

17 find  uniq  case-sensitivity  duplicate-files 

Я столкнулся с этим вариантом использования сегодня. Это кажется простым , на первый взгляд, но возиться с sort, uniq, sedи awkвыяснилось , что это нетривиально. Как я могу удалить все пары повторяющихся строк? Другими словами, если есть четное количество дубликатов данной строки, удалите все из них; если есть нечетное количество …

16 text-processing  sed  uniq 

Мой вопрос похож на этот вопрос, но имеет несколько ограничений: У меня большой список \nслов с разделителями - по одному слову в строке. Размер файлов варьируется от 2 ГБ до 10 ГБ. Мне нужно удалить любые дубликаты строк. Процесс может сортировать список в процессе удаления дубликатов, но не обязателен. В …

16 linux  text-processing  uniq 

У меня есть старый код 2003 года, который использует -tопцию для uniqкоманды. Выдает ошибку, так как эта опция, вероятно, больше не поддерживается. Вот кусок, который использует команду: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' +1 | \ uniq …

15 uniq 

У меня есть большой файл в следующем формате: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Если значения в столбце 2 совпадают, я хочу суммировать значения …

11 text-processing  awk  sort  uniq 

У меня есть файл с одним столбцом с именами, которые повторяются по несколько раз каждый. Я хочу сжать каждый повтор в одно, сохраняя при этом любые другие повторения с тем же именем, которые не соседствуют с другими повторениями с тем же именем. Например, я хочу повернуть левую сторону к правой …

11 awk  sed  sort  uniq 

Что происходит в следующем фрагменте кода? Я не получаю ожидаемый результат. Я бы подумал, что это ошибка, но это происходит для 2 разных программ (uniq и sort), поэтому я подозреваю, что это как-то связано ... ну, я не знаю, что ... отсюда вопрос. Первые 3 (из 4) примеров работают, но …

10 text-processing  sort  locale  unicode  uniq 

Я пытаюсь наивно $ cat * | sort -u > /tmp/bla.txt который терпит неудачу с: -bash: /bin/cat: Argument list too long Таким образом, чтобы избежать глупого решения типа (создает огромный временный файл): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u > …

8 shell  sort  uniq 

Если у меня есть строка «1 2 3 2 1» - или массив [1,2,3,2,1] - как я могу выбрать уникальные значения, т.е. "1 2 3 2 1" produces "1 2 3" или [1,2,3,2,1] produces [1,2,3] Похоже на uniq, но uniq, похоже, работает на целых строках, а не на шаблонах внутри …

8 string  array  uniq  patterns 

У меня большой текстовый файл (1,5 Г), Я хочу знать, какой самый быстрый и надежный инструмент в Linux. Я обычно использую: awk '!x[$0]++' file.txt Но когда я использую htopкоманду, я вижу, что использование моей памяти увеличивается. Я хочу знать, что является самым быстрым и надежным для больших файлов. uniq? sort? …

8 sed  awk  memory  sort  uniq