Оставьте только строки, содержащие точное количество разделителей

У меня есть огромный CSV-файл с 10 полями, разделенными запятыми. К сожалению, некоторые строки искажены и не содержат ровно 10 запятых (что вызывает некоторые проблемы, когда я хочу прочитать файл в R). Как я могу отфильтровать только те строки, которые содержат ровно 10 запятых?

Еще один POSIX:

awk -F , 'NF == 11' <file

Если в строке 10 запятых, то в этой строке будет 11 полей. Поэтому мы просто awkиспользуем ,в качестве разделителя полей. Если количество полей равно 11, условие NF == 11выполняется, и awkвыполняется действие по умолчанию print $0.

Используя egrep(или grep -Eв POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Это отфильтровывает все, что не содержит 10 запятых: оно соответствует полным строкам ( ^в начале и $в конце), содержащим ровно десять повторений ( {10}) последовательности «любое количество символов, кроме«, », за которым следует один«, »» ( ([^,]*,)), за которым снова следует любое количество символов, кроме ',' ( [^,]*).

Вы также можете использовать -xпараметр для удаления якорей:

grep -xE "([^,]*,){10}[^,]*" file.csv

Это менее эффективно , чем cuonglm «ы awkрешение , хотя; последняя обычно в шесть раз быстрее в моей системе для строк с примерно 10 запятыми. Более длинные линии вызовут огромные замедления.

Самый простой grepкод, который будет работать:

grep -xE '([^,]*,){10}[^,]*'

Объяснение:

-xгарантирует, что шаблон должен соответствовать всей строке, а не только ее части. Это важно, чтобы вы не сопоставляли строки с более чем 10 запятыми.

-E означает «расширенное регулярное выражение», что позволяет избежать экранирования обратной косой черты в вашем регулярном выражении.

Круглые скобки используются для группировки, а {10}впоследствии означает, что в параграфах должно быть ровно десять совпадений в строке шаблона.

[^,]это символ класса, например, [c-f]будет соответствовать любому символу , который является c, d, eили f, и [^A-Z]будет соответствовать любому символу , который не является прописной буквой. Так что [^,]соответствует любому отдельному символу, кроме запятой.

Класс *символов после означает «ноль или более из них».

Таким образом, часть регулярного выражения ([^,]*,)означает «Любой символ, кроме запятой любое количество раз (включая ноль раз), за которым следует запятая», и {10}указывает 10 из них. Затем, [^,]*чтобы сопоставить остальные символы без запятой до конца строки.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Это сначала разветвляет любую строку с 11 или более запятыми, а затем печатает то, что остается, только те, которые соответствуют 10 запятым.

Видимо, я отвечал на это раньше ... Вот я-плагиат из вопроса, ищущего ровно 4 случая некоторого паттерна:

Вы можете нацелиться на [num]вхождение шаблона с помощью команды sed s///ubstitution, просто добавив [num]команду. Когда вы tпытаетесь выполнить успешную замену и не указываете целевую :метку, она tразветвляется из сценария. Это означает, что все, что вам нужно сделать, это проверить s///5или больше запятых, а затем распечатать то, что осталось.

Или, по крайней мере, это обрабатывает линии, которые превышают ваш максимум 4. Очевидно, у вас также есть минимальное требование. К счастью, это так же просто:

sed -ne 's|,||5;t' -e 's||,|4p'

... просто замените 4-е вхождение ,в строке на себя и pприкрепите свой знак к s///флагам ubstitution. Поскольку любые строки, соответствующие ,5 или более раз, уже были удалены, строки, содержащие 4 ,совпадения, содержат только 4.

Бросая коротко python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Это прочитает каждую строку и проверит, равно ли число запятых в строке 10 line.count(',') == 10, если это так, выведите строку.

А вот и способ Perl:

perl -F, -ane 'print if $#F==10'

-nПриводит perlпрочитать его входной файл построчно и выполнить сценарий , данный -eв каждой строке. В -aочереди на автоматическое расщепление: каждая входная строка будет разделена на значения , даваемого -F(здесь запятая) и сохраняются в виде массива @F.

$#F(Или, в более общем случае $#array), самый высокий индекс массива @F. Поскольку массивы начинаются с 0, строка с 11 полями будет иметь @Fоф 10. Таким образом, скрипт печатает строку, если в ней ровно 11 полей.

Если поля могут содержать запятые или символы новой строки, ваш код должен понимать CSV. Пример (с тремя столбцами):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Я полагаю, что большинство решений пока отбрасывают второй и четвертый ряд.