Как выполнить любую команду, отредактировав свой файл (аргумент) «на месте» с помощью bash?

У меня есть файл temp.txt, который я хочу отсортировать с помощью sortкоманды в bash.

Я хочу, чтобы отсортированные результаты заменили исходный файл.

Например, это не работает (у меня пустой файл):

sortx temp.txt > temp.txt

Можно ли это сделать одной строкой, не прибегая к копированию во временные файлы?

РЕДАКТИРОВАТЬ: -oвариант очень крутой для sort. Я использовал sortв своем вопросе в качестве примера. У меня такая же проблема с другими командами:

uniq temp.txt > temp.txt.

Есть ли лучшее общее решение?

sort temp.txt -o temp.txt

sortДолжен видеть все входные данные, прежде чем он может начать вывод. По этой причине sortпрограмма может легко предложить возможность изменить файл на месте:

sort temp.txt -o temp.txt

В частности, в документации GNUsort говорится:

Обычно sort считывает весь ввод перед открытием файла вывода, поэтому вы можете безопасно отсортировать файл на месте, используя такие команды, как sort -o F Fи cat F | sort -o F. Однако sortwith --merge( -m) может открыть выходной файл перед чтением всего ввода, поэтому такая команда cat F | sort -m -o F - Gнебезопасна, так как sort может начать запись Fдо catтого, как ее прочитает.

В документации BSD sortсказано:

Если [the] output-file является одним из входных файлов, sort копирует его во временный файл перед сортировкой и записью вывода в выходной файл [the].

Такие команды, как, uniqмогут начать запись вывода до того, как закончат чтение ввода. Эти команды обычно не поддерживают редактирование на месте (и им было бы сложнее поддерживать эту функцию).

Обычно это обходится с временным файлом, или, если вы абсолютно не хотите иметь промежуточный файл, вы можете использовать буфер для сохранения полного результата перед его записью. Например, с perl:

uniq temp.txt | perl -e 'undef $/; $_ = <>; open(OUT,">temp.txt"); print OUT;'

Здесь часть perl считывает полный вывод из uniqпеременной, $_а затем перезаписывает исходный файл этими данными. Вы можете сделать то же самое на любом языке сценариев по вашему выбору, возможно, даже в Bash. Но учтите, что для хранения всего файла потребуется достаточно памяти, это не рекомендуется при работе с большими файлами.

Вот более общий подход, работает с uniq, sort и так далее.

{ rm file && uniq > file; } < file

Комментарий Тобу о губке требует самостоятельного ответа.

Цитата с домашней страницы moreutils :

Вероятно, самым универсальным инструментом в moreutils на данный момент является sponge (1), который позволяет делать такие вещи, как это:

% sed "s/root/toor/" /etc/passwd | grep -v joey | sponge /etc/passwd

Однако он spongeстрадает той же проблемой, которую здесь комментирует Стив Джессоп. Если какая-либо из команд в конвейере до этого spongeне удалась, исходный файл будет перезаписан.

$ mistyped_command my-important-file | sponge my-important-file
mistyped-command: command not found

Ой-ой, my-important-fileушел.

Вот и все, одна строка:

sort temp.txt > temp.txt.sort && mv temp.txt.sort temp.txt

Технически здесь нет копирования во временный файл, и команда «mv» должна быть мгновенной.

Мне нравится sort file -o fileответ, но я не хочу дважды вводить одно и то же имя файла.

Использование расширения истории BASH :

$ sort file -o !#^

захватывает первый аргумент текущей строки при нажатии enter.

Уникальная сортировка на месте:

$ sort -u -o file !#$

захватывает последний аргумент в текущей строке.

Многие упоминали параметр -o . Вот часть справочной страницы.

На странице руководства:

   -o output-file
          Write output to output-file instead of to the  standard  output.
          If  output-file  is  one of the input files, sort copies it to a
          temporary file before sorting and writing the output to  output-
          file.

Это будет сильно ограничено памятью, но вы можете использовать awk для хранения промежуточных данных в памяти, а затем записать их обратно.

uniq temp.txt | awk '{line[i++] = $0}END{for(j=0;j<i;j++){print line[j]}}' > temp.txt

Альтернатива spongeболее распространенным sed:

sed -ni r<(command file) file

Она работает для любой команды ( sort, uniq, tac...) и использует очень хорошо известны sed«s -iвариант (редактировать файлы на месте).

Предупреждение: попробуйте command fileсначала, потому что редактирование файлов на месте небезопасно по своей природе.

объяснение

Во - первых, вы говорите , sedне печатать (оригинальное) линии ( -nопция ), а также с помощью sed«s rкоманды и bash» s Подстановка процессов , генерируемый контент путем <(command file)будет выход сохранен на месте .

Делаем вещи еще проще

Вы можете превратить это решение в функцию:

ip_cmd() { # in place command
    CMD=${1:?You must specify a command}
    FILE=${2:?You must specify a file}
    sed -ni r<("$CMD" "$FILE") "$FILE"
}

пример

$ cat file
d
b
c
b
a

$ ip_cmd sort file
$ cat file
a
b
b
c
d

$ ip_cmd uniq file
$ cat file
a
b
c
d

$ ip_cmd tac file
$ cat file
d
c
b
a

$ ip_cmd
bash: 1: You must specify a command
$ ip_cmd uniq
bash: 2: You must specify a file

Используйте аргумент --output=или-o

Только что попробовал на FreeBSD:

sort temp.txt -otemp.txt

Чтобы добавить uniqвозможность, каковы недостатки:

sort inputfile | uniq | sort -o inputfile

Прочтите о неинтерактивном редакторе ex.

Если вы настаиваете на использовании sortпрограммы, вам нужно использовать промежуточный файл - я не думаю, что sortесть возможность сортировки в памяти. Любой другой трюк с stdin / stdout потерпит неудачу, если вы не можете гарантировать, что размер буфера для stdin сортировки достаточно велик, чтобы вместить весь файл.

Изменить: позор мне. sort temp.txt -o temp.txtработает отлично.

Другое решение:

uniq file 1<> file