Чтение потокового ввода из subprocess.communicate ()

Я использую Python subprocess.communicate()для чтения stdout из процесса, который выполняется около минуты.

Как я могу распечатать каждую строку этого процесса stdoutв потоковом режиме, чтобы я мог видеть результат в том виде, в каком он сгенерирован, но по-прежнему блокировать завершение процесса перед продолжением?

subprocess.communicate() кажется, дает сразу весь результат.

Обратите внимание, я думаю, что метод Дж. Ф. Себастьяна (ниже) лучше.

Вот простой пример (без проверки на ошибки):

import subprocess
proc = subprocess.Popen('ls',
                       shell=True,
                       stdout=subprocess.PIPE,
                       )
while proc.poll() is None:
    output = proc.stdout.readline()
    print output,

Если lsзаканчивается слишком быстро, цикл while может завершиться до того, как вы прочитаете все данные.

Вы можете поймать остаток в stdout следующим образом:

output = proc.communicate()[0]
print output,

Чтобы получить вывод подпроцесса построчно, как только подпроцесс очищает свой буфер stdout:

#!/usr/bin/env python2
from subprocess import Popen, PIPE

p = Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1)
with p.stdout:
    for line in iter(p.stdout.readline, b''):
        print line,
p.wait() # wait for the subprocess to exit

iter()используется для чтения строк, как только они написаны, для обхода ошибки упреждающего чтения в Python 2 .

Если stdout подпроцесса использует блочную буферизацию вместо буферизации строки в неинтерактивном режиме (что приводит к задержке вывода до тех пор, пока дочерний буфер не заполнится или не будет явно очищен дочерним элементом), вы можете попытаться принудительно выполнить небуферизованный вывод, используя pexpect, ptyмодули или unbuffer, stdbuf, scriptутилиты , см Q: Почему бы не просто использовать трубу (POPEN ())?

Вот код Python 3:

#!/usr/bin/env python3
from subprocess import Popen, PIPE

with Popen(["cmd", "arg1"], stdout=PIPE, bufsize=1,
           universal_newlines=True) as p:
    for line in p.stdout:
        print(line, end='')

Примечание. В отличие от Python 2, который выводит байтовые строки подпроцесса как есть; Python 3 использует текстовый режим (вывод cmd декодируется с использованием locale.getpreferredencoding(False)кодировки).

Я считаю, что самый простой способ собрать вывод процесса в потоковом режиме выглядит так:

import sys
from subprocess import *
proc = Popen('ls', shell=True, stdout=PIPE)
while True:
    data = proc.stdout.readline()   # Alternatively proc.stdout.read(1024)
    if len(data) == 0:
        break
    sys.stdout.write(data)   # sys.stdout.buffer.write(data) on Python 3.x

Функция readline()or read()должна возвращать только пустую строку в EOF после завершения процесса - в противном случае она будет блокироваться, если нечего читать ( readline()включает новую строку, поэтому в пустых строках она возвращает "\ n"). Это позволяет избежать неудобного финального communicate()вызова после цикла.

Для файлов с очень длинными строками read()может быть предпочтительнее уменьшить максимальное использование памяти - число, передаваемое в него, является произвольным, но его исключение приводит к одновременному чтению всего вывода канала, что, вероятно, нежелательно.

Если вам нужен неблокирующий подход, не используйте process.communicate(). Если вы установите для subprocess.Popen()аргумента stdoutзначение PIPE, вы можете читать process.stdoutи проверять, выполняется ли процесс с использованием process.poll().

Если вы просто пытаетесь передать вывод в реальном времени, трудно сделать это проще:

import subprocess

# This will raise a CalledProcessError if the program return a nonzero code.
# You can use call() instead if you don't care about that case.
subprocess.check_call(['ls', '-l'])

См. Документацию для subprocess.check_call () .

Если вам нужно обработать вывод, конечно, зацикливайтесь на нем. Но если вы этого не сделаете, просто сделайте это просто.

Изменить: JF Себастьян указывает на то, что значения по умолчанию для параметров stdout и stderr передаются в sys.stdout и sys.stderr, и что это не удастся, если sys.stdout и sys.stderr были заменены (например, для захвата вывода в тесты).

myCommand="ls -l"
cmd=myCommand.split()
# "universal newline support" This will cause to interpret \n, \r\n and \r     equally, each as a newline.
p = subprocess.Popen(cmd, stderr=subprocess.PIPE, universal_newlines=True)
while True:    
    print(p.stderr.readline().rstrip('\r\n'))

Добавление еще одного решения python3 с небольшими изменениями:

1. Позволяет поймать код выхода процесса оболочки (мне не удалось получить код выхода при использовании withконструкции)
2. Также выводит stderr в режиме реального времени

import subprocess
import sys
def subcall_stream(cmd, fail_on_error=True):
    # Run a shell command, streaming output to STDOUT in real time
    # Expects a list style command, e.g. `["docker", "pull", "ubuntu"]`
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, bufsize=1, universal_newlines=True)
    for line in p.stdout:
        sys.stdout.write(line)
    p.wait()
    exit_code = p.returncode
    if exit_code != 0 and fail_on_error:
        raise RuntimeError(f"Shell command failed with exit code {exit_code}. Command: `{cmd}`")
    return(exit_code)