Безопасно ли перенаправлять stdout и stderr в один файл без копий файловых дескрипторов?

Я начинаю в пустой директории.

$ touch aFile
$ ls
aFile

Тогда у меня есть lsдва аргумента, один из которых отсутствует в этом каталоге. Я перенаправляю оба выходных потока в файл с именем output. Я использую >>, чтобы не писать одновременно.

$ ls aFile not_exist >>output 2>>output
$ cat output
ls: cannot access 'not_exist': No such file or directory
aFile

Который, кажется, работает. Есть ли опасность для этого подхода?

Нет, это не так безопасно, как стандарт >>bar 2>&1.

Когда пишешь

foo >>bar 2>>bar

вы barдважды открываете файл O_APPEND, создавая два полностью независимых файловых объекта [1], каждый со своим собственным состоянием (указатель, режимы открытия и т. д.).

Это очень отличается от того, 2>&1который просто вызывает dup(2)системный вызов, и делает взаимозаменяемыми псевдонимы stderr и stdout для одного и того же файлового объекта.

Теперь есть проблема с этим:

O_APPENDможет привести к повреждению файлов в файловых системах NFS, если более одного процесса добавляет данные в файл одновременно. Это связано с тем, что NFS не поддерживает добавление к файлу, поэтому ядро ​​клиента должно имитировать его, что невозможно сделать без условия гонки.

Обычно вы можете рассчитывать на вероятности файла , как barв foo >>bar 2>&1записываются одновременно с двух разных мест , являющихся довольно низкими. Но по вашему, >>bar 2>>barвы только что увеличили его на десятки порядков без всякой причины.

[1] «Открытые описания файлов» на языке POSIX.

Что происходит, когда вы делаете

some_command >>file 2>>file

это fileбудет открыто для добавления дважды. Это безопасно делать в файловой системе POSIX. Любая запись, которая происходит с файлом, когда он открывается для добавления, будет происходить в конце файла, независимо от того, поступают ли данные через стандартный поток вывода или стандартный поток ошибок.

Это опирается на поддержку атомарных операций записи в основной файловой системе. Некоторые файловые системы, такие как NFS, не поддерживают атомарное добавление. См., Например, вопрос «Является ли добавление файла атомарным в UNIX?» В StackOverflow.

С помощью

some_command >>file 2>&1

будет работать даже на NFS, хотя.

Однако, используя

some_command >file 2>file

небезопасно, так как оболочка будет усекать выходной файл (дважды), и любая запись, происходящая в любом потоке, будет перезаписывать данные, уже записанные другим потоком.

Пример:

$ { echo hello; echo abc >&2; } >file 2>file
$ cat file
abc
o

helloСтрока записывается первым (с оконечным новой строки), а затем строка с abcпоследующим переводом строки записывается из стандартной ошибки, перезаписывания hell. Результатом является строка abcс символом новой строки, за которым следуют то, что осталось от первого echoвывода, и oи символ новой строки.

Замена двух echoвокруг намотки производит только helloв выходном файле, так как эта строка записывается последней и длиннее abcстроки. Порядок, в котором происходит перенаправление, не имеет значения.

Было бы лучше и безопаснее использовать более идиоматический

some_command >file 2>&1

Это зависит от того, чего вы хотите достичь. Вам решать, нормально ли иметь ошибки в том же файле, что и выходные данные. Это просто сохранение текста в файле с функциональностью оболочки, которая позволяет вам перенаправлять по своему усмотрению. Нет абсолютного да или нет. Поскольку все в Linux это можно сделать несколькими способами, это мой способ. ls notExistingFile existingFile >> output 2>&1 Ответить на вопрос: с точки зрения самого перенаправления, да, это совершенно безопасно.