В каком порядке работают команды по каналам?

Я никогда не задумывался о том, как на самом деле оболочка выполняет конвейерные команды. Я всегда говорили , что «стандартный вывод одной программы получает по трубопроводу в потоке ввод других,» как способ мышления о трубах. Естественно, я подумал, что в случае, скажем, A | B, A запускается первым, затем B получает стандартный вывод A и использует стандартный вывод A в качестве входных данных.

Но я заметил, что когда люди ищут определенный процесс в ps, они включают grep -v "grep" в конце команды, чтобы убедиться, что grep не появляется в конечном выводе. Это означает, что в команде ps aux | grep "bash" | grep -v "grep", что означает, что ps знал, что grep запущен и поэтому находится в выводе ps. Но если ps завершает работу до того, как его выходные данные будут переданы в grep, как он узнал, что grep работает?

flamingtoast@FTOAST-UBUNTU: ~$ ps | grep ".*"
PID TTY          TIME CMD
3773 pts/0    00:00:00 bash
3784 pts/0    00:00:00 ps
3785 pts/0    00:00:00 grep

Команды по конвейеру выполняются одновременно. Когда вы запускаете ps | grep …, это удача ничьей (или вопрос деталей работы оболочки в сочетании с тонкой настройкой планировщика глубоко в недрах ядра) относительно того, начинается ли сначала psили grepначинается, и в любом случае они продолжают выполнить одновременно.

Это очень часто используется для того, чтобы вторая программа могла обрабатывать данные, полученные из первой программы, до того, как первая программа завершила свою работу. Например

grep pattern very-large-file | tr a-z A-Z

начинает отображать совпадающие строки в верхнем регистре еще до того, grepкак закончил обход большого файла.

grep pattern very-large-file | head -n 1

отображает первую совпадающую строку и может прекратить обработку задолго до того, grepкак закончит чтение своего входного файла.

Если вы где-то читали, что программы по конвейеру запускаются последовательно, бегите от этого документа. Канальные программы запускаются одновременно и всегда работают.

Порядок выполнения команд на самом деле не имеет значения и не гарантируется. Оставив в стороне тайных детали pipe(), fork(), dup()и execve(), оболочка сначала создает трубу, трубопровод для данных , которые будут течь между процессами, а затем создает процессы с концами трубы , соединенной с ними. Первый запущенный процесс может блокировать ожидание ввода от второго процесса или блокировать ожидание, пока второй процесс начнет читать данные из канала. Эти ожидания могут быть сколь угодно длинными и не имеют значения. Независимо от порядка запуска процессов, данные в конечном итоге передаются, и все работает.

Риск избиения мертвой лошади, кажется, ошибочное мнение, что

    A | В

эквивалентно

    A > временный_файл 
    B < временный_файл 
    rm временный_файл

Но, когда Unix был создан, и дети ездили с динозаврами в школу, диски были очень маленькими, и довольно обычная команда использовала все свободное пространство в файловой системе. Если бы Bчто-то было похоже , конечный результат конвейера мог бы быть намного меньше, чем этот промежуточный файл. Таким образом, канал был разработан не как сокращение для модели « сначала запустить A , а затем запустить B с вводом из выходных данных A », а как способ одновременного выполнения и устранения необходимости сохранения промежуточного файла. на диске.grep some_very_obscure_stringBA

Обычно вы запускаете это под Bash. процесс работает и запускается одновременно, но выполняется оболочкой параллельно. Как это возможно?

1. если это не последняя команда в трубе, создайте безымянный канал с парой сокетов
2. вилка
3. в дочернем случае переназначьте stdin / stdout на сокеты, если это необходимо (для первого процесса в pipe stdin не переназначается, то же самое для последнего процесса и его stdout)
4. В дочернем EXEC указана команда с аргументами, которые сметают оригинальный код оболочки, но оставляют все открытые им сокеты. ID дочернего процесса не будет изменен, потому что это тот же самый дочерний процесс
5. одновременно с дочерним, но параллельно под основной оболочкой перейдите к шагу 1.

Система не гарантирует, насколько быстро будет выполняться exec, и запускается указанная команда. это не зависит от оболочки, но система. Это потому что:

ps auxww| grep ps | cat

один раз показать grepи / или psкоманду, а теперь следующий. Это зависит от того, насколько быстро ядро ​​действительно запускает процессы, используя функцию exec системы.