Удалить запятую между кавычками только в файле с разделителями-запятыми

У меня есть входной файл, разделенный запятыми ( ,). Есть некоторые поля, заключенные в двойные кавычки, в которых есть запятая. Вот пример строки

123,"ABC, DEV 23",345,534.202,NAME

Мне нужно удалить все запятые внутри двойных кавычек, а также двойные кавычки. Таким образом, приведенная выше строка должна быть проанализирована, как показано ниже

123,ABC DEV 23,345,534.202,NAME

Я попробовал следующее, используя, sedно не давая ожидаемых результатов.

sed -e 's/\(".*\),\(".*\)/\1 \2/g'

Любые быстрые трюки sed, awkили любая другая утилита Unix, пожалуйста?

Если кавычки сбалансированы, вы захотите удалить запятые между каждой другой кавычкой, это можно выразить awkтак:

awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub(",", "", $i) } 1' infile

Выход:

123,ABC DEV 23,345,534.202,NAME

объяснение

Команда -F"make awk отделяет строку от двойных кавычек, что означает, что любое другое поле будет текстом, заключенным в кавычки. Цикл for запускается gsub, за исключением глобально заменителя, в любом другом поле, заменяя запятую ( ",") ничем ( ""). 1В конце вызывает кодовый блок по умолчанию: { print $0 }.

Есть хороший ответ, используя sed просто один раз с циклом :

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME'|
  sed ':a;s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 /;ta'
123,"ABC  DEV 23",345,534,"some more  comma-separated  words",202,NAME

Объяснение:

• :a; это этикетка для дальней ветви
• s/^\(\([^"]*,\?\|"[^",]*",\?\)*"[^",]*\),/\1 / может содержать 3 закрытые части
  • первый 2-й: [^"]*,\?\|"[^",]*",\?соответствует строке, не содержащей двойных кавычек, может сопровождаться запятой или строкой, заключенной в две двойных кавычки, без запятой и может сопровождаться запятой.
  • чем первая часть RE состоит из множества повторений ранее описанной части 2, за которыми следуют 1 двойная кавычка и несколько символов, но ни двойной кавычки, ни запятых.
  • Первая часть RE, за которой следует кома.
  • Nota, остальная часть линии не должна быть затронута
• taзацикливается, :aесли предыдущая s/команда внесла некоторые изменения.

Общее решение, которое также может обрабатывать несколько запятых между сбалансированными кавычками, требует вложенной замены. Я реализую решение в Perl, которое обрабатывает каждую строку данного ввода и заменяет запятые только в каждой другой паре кавычек:

perl -pe 's/ "  (.+?  [^\\])  "               # find all non escaped 
                                              # quoting pairs
                                              # in a non-greedy way

           / ($ret = $1) =~ (s#,##g);         # remove all commas within quotes
             $ret                             # substitute the substitution :)
           /gex'

или короче

perl -pe 's/"(.+?[^\\])"/($ret = $1) =~ (s#,##g); $ret/ge'

Вы можете либо передать текст, который вы хотите обработать, в команду, либо указать текстовый файл для обработки в качестве последнего аргумента командной строки.

Я бы использовал язык с правильным парсером CSV. Например:

ruby -r csv -ne '
  CSV.parse($_) do |row|
    newrow = CSV::Row.new [], []
    row.each {|field| newrow << field.delete(",")}
    puts newrow.to_csv
  end
' < input_file

Ваши вторые цитаты неуместны:

sed -e 's/\(".*\),\(.*"\)/\1 \2/g'

Кроме того, использование регулярных выражений, как правило, соответствует самой длинной части текста, что означает, что это не сработает, если в строке более одного поля в кавычках.

Способ, который обрабатывает несколько полей в кавычках в sed

sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Это также способ решить эту проблему, однако, с помощью ввода, которое может содержать более одной запятой на поле в кавычках, первое выражение в sed должно будет повторяться столько раз, сколько максимальное запятое в одном поле, или до не меняет выход вообще.

Выполнение sed с более чем одним выражением должно быть более эффективным, чем выполнение нескольких процессов sed, и "tr", выполняемый с открытыми каналами.

Однако это может иметь нежелательные последствия, если ввод не отформатирован должным образом. то есть вложенные кавычки, неопределенные кавычки.

Используя работающий пример:

echo '123,"ABC, DEV 23",345,534,"some more, comma-separated, words",202,NAME' \
| sed -e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' \
-e 's/\(\"[^",]\+\),\([^",]*\)/\1 \2/g' -e 's/\"//g'

Выход:

123,ABC  DEV 23,345,534,some more  comma-separated  words,202,NAME

В Perl - вы можете использовать это Text::CSVдля анализа, и сделать это тривиально:

#!/usr/bin/env perl
use strict;
use warnings;

use Text::CSV; 

my $csv = Text::CSV -> new();

while ( my $row = $csv -> getline ( \*STDIN ) ) {
    #remove commas in each field in the row
    $_ =~ s/,//g for @$row;
    #print it - use print and join, rather than csv output because quotes. 
    print join ( ",", @$row ),"\n";
}

Вы можете печатать с помощью, Text::CSVно он сохраняет кавычки, если вы делаете. (Хотя, я бы предложил - вместо зачистки кавычки для вывода, вы можете просто разобрать , используя Text::CSVв первую очередь).

Я создал функцию для циклического прохождения каждого символа в строке.
Если символ является кавычкой, то проверка (b_in_qt) помечается как истинная.
Хотя b_in_qt имеет значение true, все запятые заменяются пробелом.
b_in_qt устанавливается в false при обнаружении следующей запятой.

FUNCTION f_replace_c (str_in  VARCHAR2) RETURN VARCHAR2 IS
str_out     varchar2(1000)  := null;
str_chr     varchar2(1)     := null;
b_in_qt     boolean         := false;

BEGIN
    FOR x IN 1..length(str_in) LOOP
      str_chr := substr(str_in,x,1);
      IF str_chr = '"' THEN
        if b_in_qt then
            b_in_qt := false;
        else
            b_in_qt := true;
        end if;
      END IF;
      IF b_in_qt THEN
        if str_chr = ',' then
            str_chr := ' ';
        end if;
      END IF;
    str_out := str_out || str_chr;
    END LOOP;
RETURN str_out;
END;

str_in := f_replace_c ("blue","cat,dog,horse","",yellow,"green")

RESULTS
  "blue","cat dog horse","",yellow,"green"