Вопросы с тегом «awk»

У меня есть большой файл в следующем формате: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Если значения в столбце 2 совпадают, я хочу суммировать значения …

11 text-processing  awk  sort  uniq 

Я просмотрел ответы в этой полезной ветке , но моя проблема, похоже, иная, поэтому я не могу придумать хорошего ответа (по крайней мере, с sed). У меня есть большой файл CSV (200+ ГБ) со строками, которые выглядят следующим образом: <alphanumerical_identifier>,<number> где <alphanumerical_identifier>уникально для всего файла. Я хотел бы создать отдельный …

11 files  sed  awk  csv 

Мой файл состоит из следующего; грубо: username:username:username:username:username Выше строка продолжается до 600 символов. Я использую awkкоманду, чтобы использовать ее в качестве аргумента в запросе API / HTTP, отправляемом из командной строки. Я использую свой сценарий, чтобы получить список учетных записей пользователей, которые следуют за мной, и примерно каждые 24 часа, …

11 bash  command-line  awk  output 

Я ищу способ заменить строки-заполнители в файле шаблона конкретными значениями с помощью общих инструментов Unix (bash, sed, awk, возможно, perl). Важно, чтобы замена выполнялась за один проход, то есть то, что уже отсканировано / заменено, не должно учитываться для другой замены. Например, эти две попытки терпят неудачу: echo "AB" | …

11 bash  sed  awk  string  replace 

Я ищу метод для печати самого длинного числа в строке. Например: если у меня есть строка 212334123434test233 как я могу распечатать 212334123434 ? Примечание: я ищу самую длинную непрерывную последовательность чисел, а не численно более высокое значение. Изменить: Спасибо за ответы, все. Ответ на этот вопрос был довольно ошеломляющим. Я …

11 text-processing  sed  awk 

У меня есть файл данных, который я хочу использовать для нормализации awk, основанный на последнем назначении данных. Поэтому я хотел бы сначала получить доступ к последней точке данных, чтобы нормализовать данные, а затем обработать в обычном режиме. Следующий метод, использующий tacдважды, делает работу, но, может быть, более сложный, чем необходимо. …

11 text-processing  awk 

Я ищу способ сказать awk, чтобы сделать высокоточную арифметику в операции подстановки. Это включает в себя чтение поля из файла и замену его с шагом 1% на это значение. Однако я теряю точность там. Вот упрощенное воспроизведение проблемы: $ echo 0.4970436865354813 | awk '{gsub($1, $1*1.1)}; {print}' 0.546748 Здесь у меня …

11 awk  arithmetic  floating-point 

У меня есть файл .csv (на Mac), который имеет кучу пустых строк, например: "1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum lorem ipsum ","2","3","4" "1", "2", "lorem ipsum lorem ipsum lorem ipsum lorem ipsum …

11 shell  text-processing  sed  awk 

У меня есть файл с одним столбцом с именами, которые повторяются по несколько раз каждый. Я хочу сжать каждый повтор в одно, сохраняя при этом любые другие повторения с тем же именем, которые не соседствуют с другими повторениями с тем же именем. Например, я хочу повернуть левую сторону к правой …

11 awk  sed  sort  uniq 

У меня есть файл, который выглядит примерно так: ID101 G T freq=.5 nonetype ANC=.1 addinfor ID102 A T freq=.3 ANC=.01 addinfor ID102 A T freq=.01 type=1 ALT=0.022 ANC=.02 addinfor Как видите, каждая строка имеет немного различное количество столбцов. Я специально хочу столбец 1, столбец 2, столбец 3, столбец 4 и …

11 text-processing  sed  awk 

Связанные, но не удовлетворительные ответы: Как я могу разбить большой текстовый файл на куски по 500 слов или около того? Я пытаюсь взять текстовый файл ( http://mattmahoney.net/dc/text8.zip ), содержащий> 10 ^ 7 слов, все в одной строке, и разбить его на строки по N слов в каждом. Мой текущий подход …

11 text-processing  sed  awk  split 

У меня есть куча TXT-файлов, я хотел бы вывести их в нижнем регистре, только в алфавитном порядке и по одному слову в строке, я могу сделать это с помощью нескольких trкоманд в конвейере, например: tr -d '[:punct:]' <doyle_sherlock_holmes.txt | tr '[:upper:]' '[:lower:]' | tr ' ' '\n' Возможно ли сделать …

11 sed  awk  perl  tr 

Мы знаем, что мы можем использовать MAC-адрес для создания идентификатора интерфейса, например, для локального IPv6-адреса канала, который должен быть уникальным в сети. На рисунке показан способ сделать это: Мои вопросы: Как я могу создать IPv6-адрес из MAC с помощью awkили sed? ИЛИ есть ли команда, которая дает мне локальный IPv6-адрес …

11 sed  awk  ipv6  mac-address 

fILE1.TXT id No gi|371443199|gb|JH556661.1| 7907290 gi|371443198|gb|JH556662.1| 7573913 gi|371443197|gb|JH556663.1| 7384412 gi|371440577|gb|JH559283.1| 6931777 file2.txt id P R S gi|367088741|gb|AGAJ01056324.1| 5 5 0 gi|371443198|gb|JH556662.1| 2 2 0 gi|367090281|gb|AGAJ01054784.1| 4 4 0 gi|371440577|gb|JH559283.1| 21 19 2 output.txt id P R S NO gi|371443198|gb|JH556662.1| 2 2 0 7573913 gi|371440577|gb|JH559283.1| 21 19 2 6931777 File1.txt имеет …

11 awk  join 

У меня есть awkсценарий new.awk: BEGIN { FS=OFS="," } NR==1 { for (i=1; i<=NF; i++) { f[$i] = i } } NR > 1 { begSecs= mktime(gensub(/[":-]/," ","g",$(f["DateTime"]))) endSecs = begSecs + $(f["TotalDuration"]) $(f["CallEndTime"]) = strftime("%Y-%m-%d %H:%M:%S", endSecs) } { print } Я называю это в оболочке awk new.awk sample.csv …

11 linux  shell  awk