Как я могу быстро сложить все числа в файле?

16

Каждая строка содержит текст и цифры в одном столбце. Мне нужно рассчитать сумму чисел в каждой строке. Как я могу это сделать? Спасибо

example.log содержит:

time=31sec
time=192sec
time=18sec
time=543sec

Ответ должен быть 784

text-processing awk numeric-data

— разъем
источник

Я попробовал этот метод awk '{sum + = $ 1}; END {print sum} 'example.log, но это только для чисел в строке

— Джек,

2

В переполнении стека почти такой же вопрос : как быстро сложить все числа в файле? , Может быть, пора иметь дубликаты между сайтами?

— Федорки

18

Если ваш вариант grepподдержки -o, вы можете попробовать:

$ grep -o '[[:digit:]]*' file | paste -sd+ - | bc
784

POSIXly:

$ printf %d\\n "$(( $(tr -cs 0-9 '[\n*]' <file | paste -sd+ -) ))"
784

— cuonglm
источник

16

С более новой версией (4.x) GNU awk:

awk 'BEGIN {FPAT="[0-9]+"}{s+=$1}END{print s}'

С другими awkпопробуйте:

awk -F '[a-z=]*' '{s+=$2}END{print s}'

— Janis
источник

4

Вам нужно s+0в случае, когда sпусто, он будет печатать 0вместо пустого.

— cuonglm

Позвольте мне объяснить это. - есть только один случай, когда sможет быть пусто; если входные данные не содержат строк (т. е. если вообще нет входных данных ). В этом случае возможны два поведения; 1) нет ввода => нет вывода или 2) всегда что-то выводит, если только 0. Оба являются разумными вариантами в зависимости от контекста приложения. +0Обращается вариант 2). Для адреса вариант 1) вам лучше написать END {if(s) print s}. - Поэтому нет смысла принимать любой вариант (для этого углового случая без данных), пока он не будет определен вопросом.

— Янис

10

awk -F= '{sum+=$2};END{print sum}'

— snth
источник

2

Мы предпочитаем длинные ответы. Можете ли вы рассказать, как это работает?

— SLM

2

@slm, этот ответ не более или менее многословен, чем другие ответы здесь, и говорит сам за себя. У этого также есть преимущество работы с вводом какtime=1.4e5sec

— Стефан Шазелас

@ StéphaneChazelas - согласен, но это новый пользователь, и мы призываем пользователей предоставлять более чем одну строку ответов. Немного текста, объясняющего, как это работает, сделало бы его намного более сильным ответом, чем просто код.

— SLM

4

@slm, это новый пользователь с одним из лучших ответов (с технической точки зрения), и он получает два отрицательных отзыва и отрицательный комментарий. Не очень теплый прием.

— Стефан Шазелас

1

@TomFenech, синтаксис POSIX для awk требует, чтобы эти элементы шаблона / действия были разделены либо ";" или "новая строка", так что вы можете найти реализации awk, где это не сработает без этого ";".

— Стефан Шазелас

7

Еще один GNU awkодин:

awk -v RS='[0-9]+' '{n+=RT};END{print n}'

Один perl:

perl -lne'$n+=$_ for/\d+/g}{print$n'

POSIX один:

tr -cs 0-9 '[\n*]' | grep . | paste -sd + - | bc

— Стефан Шазелас
источник

6

sed 's/=/ /' file | awk '{ sum+=$2 } END { print sum}'

— user2570505
источник

Потрясающий ответ, но не нужно sed:awk --field-separator = '{ sum+=$2 } END { print sum}' data.dat

— user1717828

@ user1717828: вам лучше использовать (короче и более совместимо!) -F'='вместо--field-separator =

— Оливье Дюлак

@OlivierDulac, странно, мой man awkединственный дает -F fsи--field-separator fs

— user1717828

@ user1717828: -F'='или -F '='есть 2 способа сделать -F fs(fs это "=" в вашем случае). Я добавил одинарные кавычки, чтобы гарантировать, что fs правильно виден и интерпретируется awk, а не оболочкой (например, полезно, если fs равен ';')

— Оливье Дюлак

4

Вы можете попробовать это:

awk -F"[^0-9]+" '{ sum += $2 } END { print sum+0; }' file

— taliezin
источник

4

Все опубликовали отличные awkответы, которые мне очень нравятся.

Вариант @cuonglm grepс заменой на sed:

sed 's/[^0-9]//g' example.log | paste -sd'+' - | bc

sedПолосы все для чисел , за исключением.
Команда paste -sd+ -объединяет все строки в одну строку
bcВычисляет выражение

— Стивен Куан
источник

3

Вы должны использовать калькулятор.

{ tr = \ | xargs printf '[%s=]P%d+p' | dc; } <infile 2>/dev/null

С вашими четырьмя линиями, которые печатают:

time=31
time=223
time=241
time=784

И проще:

tr times=c '    + p' <infile |dc

... который печатает ...

Если dcвам нужна скорость, то вы хотите. Традиционно это был bcкомпилятор - и до сих пор для многих систем.

— mikeserv
источник

Не в соответствии с моими измерениями : это зависит от того, сколько работы вам нужно сделать, чтобы создать формулу

— Гленн Джекман

@glennjackman - ваши измерения не включают, dcнасколько я могу судить. О чем ты говоришь?

— mikeserv

Кстати, при сравнении старой команды с новой командой - например, когда вы проводите тестирование по сравнению perlсо стандартным набором инструментов Unix - это не имеет особого смысла, если вы используете инструменты GNU, скомпилированные в цепочке инструментов GNU. Все навороты, которые могут негативно повлиять на производительность Perl, также присутствуют во всех этих GNU-скомпилированных утилитах GNU. Грустно, но правда. Вам нужен настоящий, просто построенный, простой набор инструментов, чтобы точно оценить разницу. Например, как набор инструментов семейной реликвии, статически связанный с мусульманскими библиотеками - таким образом, вы можете сравнить парадигму «один инструмент / одна работа» и «один инструмент, чтобы управлять ими всеми».

— mikeserv

3

Через python3,

import re
with open(file) as f:
    m = f.read()
    l = re.findall(r'\d+', m)
    print(sum(map(int, l)))

— Авинаш Радж
источник

re.findallвозвращает список строк, это не сработает

— iruvar

@ 1_CR да, я забыл это. Проверь это сейчас.

— Авинаш Радж

Может быть, sum(int(e) for e in l)это более питонический.

— cuonglm

3

Чистый раствор Bash (Bash 3+):

while IFS= read -r line; do                   # While it reads a line:
    if [[ "$line" =~ [0-9]+ ]]; then      # If the line contains numbers:
        ((counter+=BASH_REMATCH[0]))          # Add the current number to counter
    fi                                    # End if.
done                                  # End loop.

echo "Total number: $counter"         # Print the number.
unset counter                         # Reset counter to 0.

Укороченная версия:

while IFS= read -r l; do [[ "$l" =~ [0-9]+ ]] && ((c+=BASH_REMATCH)); done; echo $c; c=0

— гелиограф
источник

1

Возможно также:PS4='$((x+=${time%s*}))' time=0 x=0 sh -x <infile

— mikeserv