Как проверить ход запуска cp?

Можно ли проверить ход выполнения процесса cp? Некоторые процессы реагируют на различные сигналы KILL, чтобы вы могли проверить их состояние. Я знаю, что могу запустить cp с параметром -v, но что, если забыли это сделать, cp работает очень долго, и я хочу знать, какой файл копируется, или сколько уже скопировано.

Да, запустив stat для целевого файла и локального файла, и получите размер файла,

т.е. stat -c "%s" /bin/ls

И вы получаете процент скопированных данных, сравнивая два значения, вот и все

В очень простой реализации это будет выглядеть так:

function cpstat()
{
  local pid="${1:-$(pgrep -xn cp)}" src dst
  [[ "$pid" ]] || return
  while [[ -f "/proc/$pid/fd/3" ]]; do
    read src dst < <(stat -L --printf '%s ' "/proc/$pid/fd/"{3,4})
    (( src )) || break
    printf 'cp %d%%\r' $((dst*100/src))
    sleep 1
  done
  echo
}

В последних версиях Mac OS X вы можете просто нажать CTRL+, Tчтобы увидеть прогресс. Из справочной страницы OSX 10.6 для cp (1) :

 "If cp receives a SIGINFO (see the status argument for stty(1)) signal,
 the current input and output file and the percentage complete will be
 written to the standard output."

Нажатие CTRL+ Tэквивалентно сигналу текущего процесса с помощью SIGINFO на машинах BSD-ish, включая OSX.

Это работает и для dd (1) .

Я не думаю, что в Linux есть такой механизм SIGINFO, и я не вижу в справочной странице GNU для cp (1) ничего о сигналах, которые можно использовать для сообщения о прогрессе.

Когда вы копируете много файлов du -s /path/to/destinationили find /path/to/destination | wc -lдаете представление о том, сколько уже сделано.

Вы можете узнать, в какой файл копируется, lsof -p1234где 1234 - это идентификатор процесса cp. Во многих системах pgrep -x cpсообщает идентификаторы всех запущенных процессов cp. Это может быть не очень полезно, так как порядок, в котором копируются файлы внутри данного каталога, по сути непредсказуем (в большом каталоге в Linux ls --sort=noneвам скажут; с деревом каталогов, попробуйте find).

lsof -p1234также сообщает вам, сколько байтов cpуже прочитано и записано для текущего файла в OFFSETстолбце.

В Linux есть статистика использования IO /proc/$pid/io(опять же, используйте PID cpпроцесса для $pidf). rcharЗначение представляет собой общее количество байт , что процесс чтения и wcharэто количество байт , что процесс записи. Это включает в себя не только данные в файлах, но и метаданные в каталогах. Вы можете сравнить эту цифру с приблизительной цифрой, полученной с du /path/to/source(которая учитывает только данные файла). read_bytesи write_bytesвключать только то, что было прочитано или записано из хранилища, то есть исключает диагностику терминала и данные, уже находящиеся в кеше или все еще в буферах.

Относительно новый инструмент, который делает именно это - прогресс (ранее cv [coreutils viewer]).

Что это такое?

Этот инструмент может быть описан как Tiny, Dirty, Linux-and-OSX-Only C команда, которая ищет основные команды coreutils (cp, mv, dd, tar, gzip / gunzip, cat и т. Д.), В настоящее время работающие в вашей системе, и отображает процент скопированных данных.

Как это работает?

Он просто сканирует /procинтересные команды, а затем смотрит на каталогах , fdи fdinfoнайти открытые файлы и искать позиции, а также отчеты о состоянии самого большого файла.

Один из моих любимых приемов для этого (под Linux) - узнать PID cpпроцесса (используя ps | grep cpили подобный), а затем посмотреть /proc/$PID/fd/и /proc/$PID/fdinfo/.

$ cp -r y z
^Z
$ ls -l /proc/8614/fd
lrwx------ 1 jander jander 64 Aug  2 15:21 0 -> /dev/pts/4
lrwx------ 1 jander jander 64 Aug  2 15:21 1 -> /dev/pts/4
lrwx------ 1 jander jander 64 Aug  2 15:20 2 -> /dev/pts/4
lr-x------ 1 jander jander 64 Aug  2 15:21 3 -> /home/jander/y/foo.tgz
l-wx------ 1 jander jander 64 Aug  2 15:21 4 -> /home/jander/z/foo.tgz

Это покажет вам, какие файлы открыт у процесса. Если вы хотите увидеть, как далеко в файл идет процесс ...

$ cat /proc/8614/fdinfo/3
pos:    105381888
flags:  0500000

posпараметром является положение указателя чтения (или записи), в байтах.

Есть несколько вещей, которые вы можете сделать. Вы можете присоединиться straceк нему, чтобы посмотреть, что он делает (вывод может быть обильным!):

strace -p [pid of cp]

или вы можете lsofсказать, какие файлы открыты в данный момент:

lsof -p [pid of cp]

Если вы используете большой рекурсив cp, вы можете использовать pwdxтекущий рабочий каталог, который может дать вам некоторое представление о том, как он работает:

pwdx [pid of cp]

Несмотря на то, что OP особо упомянул способность видеть, как продвигается команда «cp», следует сказать, что другие утилиты лучше подходят для этой конкретной проблемы.

Например:

rsync -avP FROM TO

покажет процесс копирования файла / папки FROM в файл TO / FOLDER.

# rsync -avP Video.mp4  /run/media/user1/3.8G/

sending incremental file list
Video.mp4
    565,170,046 100%   51.23MB/s    0:00:10 (xfr#1, to-chk=0/1)

sent 565,308,115 bytes  received 134 bytes  5,210,214.28 bytes/sec
total size is 565,170,046  speedup is 1.00

И rsync скажет вам, сколько он скопировал (и скорость передачи) по пути. Он работает для отдельных файлов или папок на одном компьютере или в сети.

Что вы можете сделать, это проверить файлы в месте назначения.

Если ваши команды cp похожи, cp -a <my_source> <my_dest_folder>я бы проверил, какие файлы уже скопированы <my_dest_folder>и каждый размер файла, чтобы я мог видеть прогресс. Если <my_source>это немного сложно (несколько уровней каталогов), то небольшой сценарий сможет проверить состояние. Хотя такой сценарий может потреблять немного ввода-вывода, который затем не будет использоваться cpпроцессом.

Этот инструмент представляет собой команду утилиты Linux, которая ищет основные команды coreutils (cp, mv, dd, tar, gzip / gunzip, cat и т. Д.), Которые в настоящее время выполняются в вашей системе, и отображает процент скопированных данных:

https://github.com/Xfennec/cv

Я хотел бы добавить cpv, небольшую обертку для того, pvчто я написал, которая имитирует использование cp.

Просто и полезно

Вы можете получить это здесь

Вы также можете использовать pipeviewer .

for f in *; do
  pv $f > destination/$f
done

Используйте pv -d:

-d PID[:FD], --watchfd PID[:FD]
Вместо передачи данных просмотрите файловый дескриптор FDпроцесса PIDи покажите его ход. […] Если PIDуказан только a , то этот процесс будет отслеживаться, и все обычные файлы и блочные устройства, которые он открывает, будут отображаться с индикатором выполнения. pvПроцесс будет выходить , когда процесс PIDзавершается.

^{( источник )}

Узнайте PID вашего бега cp( pidof cp), скажем, это 12345; тогда просто

pv -d 12345

Примечания:

• Запуск pvот имени того же пользователя, который запускается cp(или от имени пользователя root).
• Поскольку копирование означает чтение одного файла и запись в другой, ожидайте одновременного отслеживания двух файлов.
• Если cpв данный момент выполняется обработка небольших файлов, вы, вероятно, не увидите их все в выводе (маленький файл может закрыться слишком быстро, pvчтобы его можно было поднять). Тем не менее, некоторые появятся, так что даже тогда вы сможете рассказать, что cpделает.
• pv -d "$(pidof cp)"может работать; но если работает более одного cp, это не сработает. Существует, pidof -sкоторый возвращает не более одного PID, но вы не можете быть уверены, что он будет принадлежать правильному cpпроцессу, если их много.

Вы можете отправить сигнал процессу:

kill -SIGUSR1 pid

Еще полезнее создать скрипт, который будет опрашивать, пока вы не нажмете Ctrl-C или процесс не завершится:

while [ : ] ; do kill -SIGUSR1 $1 && sleep 1m || exit ; done

Работает на дд. Не работает для cp . Возможно, вам придется использовать другой сигнал. Однажды я попробовал SIGINFO, но, похоже, он больше не существует на платформе Intel.