Напишите Python stdout в файл немедленно

При попытке записать стандартный вывод из скрипта Python в текстовый файл ( python script.py > log) текстовый файл создается при запуске команды, но фактическое содержимое не записывается до тех пор, пока скрипт Python не завершится. Например:

script.py:

import time
for i in range(10):
    print('bla')
    time.sleep(5)

выводит на стандартный вывод каждые 5 секунд при вызове с помощью python script.py, но когда я вызываю python script.py > log, размер файла журнала остается нулевым, пока сценарий не завершится. Можно ли напрямую записывать в файл журнала, чтобы вы могли следить за ходом сценария (например, используя tail)?

РЕДАКТИРОВАТЬ Оказывается, что python -u script.pyделает трюк, я не знал о буферизации стандартного вывода.

Это происходит потому, что обычно, когда процесс STDOUT перенаправляется не на терминал, а в выходной файл, он буферизируется в некотором буфере определенного размера ОС (во многих случаях, возможно, 4 или 8 КБ). И наоборот, при выводе на терминал STDOUT будет буферизован строкой или не буферизован вообще, поэтому вы увидите вывод после каждого \nили для каждого символа.

Обычно вы можете изменить буферизацию STDOUT с помощью stdbufутилиты:

stdbuf -oL python script.py > log

Теперь, если вы tail -F log, вы должны увидеть каждую строку вывода сразу же, как он генерируется.

Альтернативно явная очистка выходного потока после каждого отпечатка должна достигать того же самого. Похоже, sys.stdout.flush()следует достичь этого в Python. Если вы используете Python 3.3 или более позднюю версию, то printфункция также имеет flushключевое слово , которое делает это: print('hello', flush=True).

Это должно сделать работу:

import time, sys
for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)

Поскольку Python будет буферизовать stdoutпо умолчанию, здесь я использовал sys.stdout.flush()для очистки буфера.

Другое решение было бы использовать -u(небуферизованный) переключатель python. Итак, следующее тоже подойдет:

python -u script.py >> log

Вариация на тему использования собственной опции python для небуферизованного вывода будет заключаться в использовании в #!/usr/bin/python -uкачестве первой строки.

С #!/usr/bin/env pythonэтим дополнительным аргументом не сработает, так что в качестве альтернативы можно запустить PYTHONUNBUFFERED=1 ./my_scriipt.py > output.txtили сделать это в два этапа:

$ export PYTHONUNBUFFERED=1
$ ./myscript.py

Вам следует перейти flush=Trueк printфункции:

import time

for i in range(10):
    print('bla', flush=True)
    time.sleep(5)

Согласно документации, по умолчанию printничего не предписывает очистка:

Будь буферизован вывод, обычно определяется файлом, но если flushаргумент ключевого слова равен true, поток принудительно сбрасывается.

И документация для sysРоссии гласит:

В интерактивном режиме стандартные потоки буферизуются по строкам. В противном случае они буферизируются как обычные текстовые файлы. Вы можете переопределить это значение с помощью параметра -uкомандной строки.

Если вы застряли в древней версии Python, вам нужно вызвать flushметод sys.stdoutпотока:

import sys
import time

for i in range(10):
    print('bla')
    sys.stdout.flush()
    time.sleep(5)