Сравнение более двух файлов, содержащих числовые значения

8

У меня есть три файла, содержащие отсортированную последовательность чисел, по одному на строку:

file1

1
2
3

file2

1
3
4

file3

1
5

Я хочу "выровнять" эти три файла рядом, как показано ниже:

file1  file2  file3
1      1      1
2      
3      3
       4
              5

Я пытался с, sdiffно он работает только с 2 файлами

text-processing awk diff

— Cheseaux
источник

Ты тестируешь diff3?

— Костас

У @Costas diff3нет этого выходного формата.

— Кусалананда

@Costas Да, я проверял, diff3и, как правильно сказал @Kusalananda, он не производит такой вывод. Кроме того, я ищу общее решение (для n файлов, n> 2)

— cheseaux

Если сравнивать построчно, почему 5в пятой строке результат, а не третий?

— Костас

Я не сравниваю построчно

— cheseaux

6

Вы можете обработать каждый файл и напечатать строку с каким-нибудь символом, например, Xдля каждого пропущенного числа в последовательности 1- max (где max - последнее число в этом файле), pasteрезультаты затем заменят этот символ пробелом:

paste \
<(awk 'BEGIN{n=1};{while (n<$1) {print "X";n++}};{n=$1+1};1' file1) \
<(awk 'BEGIN{n=1};{while (n<$1) {print "X";n++}};{n=$1+1};1' file2) \
<(awk 'BEGIN{n=1};{while (n<$1) {print "X";n++}};{n=$1+1};1' file3) \
| tr X ' '

Если определенное значение отсутствует во всех файлах, вы получите пустые строки в выводе (на самом деле они не пустые, они содержат только пробелы).
Чтобы удалить их, замените tr X ' ' на sed '/[[:digit:]]/!d;s/X/ /g' Также, если вам нужен заголовок, вы всегда можете сначала запустить что-то вроде этого:

 printf '\t%s' file1 file2 file3 | cut -c2-

— don_crissti
источник

;1Хотя мне было трудно понять, что означало то, что было в конце. Я использую {print $0}вместо этого, немного менее загадочным ИМХО. В любом случае, еще раз спасибо

— cheseaux

5

Общее решение с помощью awk: требуется GNU awk

gawk -v level=0 '
    FNR==1 {level++; head[level]=FILENAME}
    !seen[$1]++ { n++; idx[$1] = n }
    { out[idx[$1]][level] = $1 }
    END {
        for (j=1; j<=level; j++) {
            printf "%s\t", head[j]
        }
        print ""
        for (i=1; i<=n; i++) {
            for (j=1; j<=level; j++) {
                printf "%s\t", out[i][j]
            }
            print ""
        }
    }
' file{1,2,3,4}

file1   file2   file3   file4   
1   1   1       
2           2   
3   3           
    4       4   
        5       
            6

Взял другой и более простой подход к этому на основе комментария Дона:

gawk '
    FNR==1 { printf "%s\t", FILENAME }
    { seen[$1][FILENAME] = $1 } 
    END {
        print ""
        PROCINFO["sorted_in"]="@ind_num_asc"
        for (i in seen) {
            for (j=1; j<=ARGC; j++) {
                printf "%s\t", seen[i][ARGV[j]]
            } 
            print ""
        }
    }
' file{1,2,3,4}

file1   file2   file3   file4       
    1   1           
            2       
3   3               
    4       4       
5       5           
            6       
7

— Гленн Джекман
источник

Понял. Ответ обновлен

— Гленн Джекман

3

Раствор с bash, join, pasteи плохим вкусом:

#! /usr/bin/env bash

if [ $# -lt 3 ]; then exit 1; fi

files=( '' "$@" )

declare -a temps
for ((i=0; i<=$#; i++)); do
    [ $i -eq 0 -o -f "${files[$i]}" ] || exit 1
    temps[$i]=$( mktemp -t "${0##*/}"_$$_XXXXXXXX ) || exit 1
done
trap 'rm -f "${temps[@]}"' EXIT HUP INT QUIT TERM

cat "$@" | sort -u >"${temps[0]}"

TAB=$( printf '\t' )
for ((i=1; i<=$#; i++)); do
    join -j1 -a1 -t"$TAB" "${temps[0]}" <(paste "${files[$i]}" "${files[$i]}") | \
        sed "/^[^$TAB]\$/ s/\$/$TAB/" >"${temps[$i]}"
done

printf '%s' ${files[1]}
for ((i=2; i<=$#; i++)); do
    printf '\t%s' ${files[$i]}
    let j=i-1
    let k=i-2
    join -j1 -t"$TAB" "${temps[$j]}" "${temps[$i]}" >"${temps[$k]}"
    cat "${temps[$k]}" >"${temps[$i]}"
done
printf '\n'

cut -d "$TAB" -f 2- <"${temps[$#]}" | sort -n

За исключением последнего sort -n, все это работает с любыми текстовыми элементами, а не числами, если элементы не содержат вкладок (но TABмогут быть изменены на любой другой разделитель). Кроме того, это может быть сделано только с 3 временными файлами и некоторыми перестановками (но это только увеличит дурной вкус).

— Сату Кацура
источник