Предотвращение использования tar слишком большого количества процессора и диска (старый ноутбук вылетает, если 100%)

Я хочу сделать резервную копию 1 терабайта данных на внешний диск.

Я использую эту команду: tar cf /media/MYDISK/backup.tar mydata

ПРОБЛЕМА: мой плохой ноутбук зависает и вылетает всякий раз, когда я использую 100% ЦП или 100% диск (если вы хотите отреагировать на это, напишите здесь ) . Поэтому я хочу, чтобы максимальная загрузка процессора составляла 50%, а диска - 50%.

Мой вопрос: как дросселировать процессор и диск с помощью tarкоманды?

В Rsync есть опция --bwlimit, но я хочу архив, потому что 1) есть много маленьких файлов 2) я предпочитаю управлять одним файлом, а не деревом. Вот почему я использую tar.

Вы можете использовать pvдля регулирования пропускной способности канала. Так как ваш сценарий использования строго связан с вводом-выводом, дополнительные накладные расходы ЦП при прохождении канала не должны быть заметны, и вам не нужно выполнять какое-либо регулирование ЦП.

tar cf - mydata | pv -L 1m >/media/MYDISK/backup.tar

Вы можете попробовать инструмент cpulimit, который ограничивает процент загрузки процессора. Это не стандартный инструмент, поэтому вам придется установить его. Вот краткая выдержка из README:

«Cpulimit - это инструмент, который пытается ограничить использование процессором ЦП (выраженное в процентах, а не во времени ЦП). [...] Контроль используемого количества ЦП осуществляется путем отправки сигналов SIGSTOP и SIGCONT POSIX процессам. Все дочерние процессы и потоки указанного процесса будут использовать один и тот же процент процессоров. "

Тогда я бы порекомендовал ionice для ограничения использования ввода-вывода, хотя именно параллельный доступ будет ограничен, а не максимальная пропускная способность ... Тем не менее, вот как это использовать:

ionice -c 3 <your_command>

Вы не можете заставить процесс работать меньше . Вы можете использовать niceего для более низкого приоритета, но это связано с другими процессами. Способ запуска процессорного кулера во время выполнения процесса состоит в том, usleep(3)чтобы вывести процесс из состояния запуска на определенное время, но это может включать либо исправление, tarлибо использование LD_PRELOADмеханизма для предоставления исправленной функции, которая tarиспользует много (например, fopen(3)).

Я подозреваю, что ваши лучшие обходные пути - это те аппаратные средства, которые вы упомянули в SuperUser: поддержание охлаждения ноутбука и / или снижение тактовой частоты процессора.

Раздражающий, но, возможно, жизнеспособный обходной путь (на самом деле клудж) работает на «макроскопическом» уровне. Вместо того, чтобы tarзапускать 100 мс каждые 200 мс, вы можете сделать так, чтобы он запускал одну секунду из каждых двух. Примечание: это ужасный, ужасный клудж. Но эй, это может даже сработать!

tar cjf some-file.tar.bz2 /some-directory &
while true; do
    sleep 1  # Let it run for a second
    kill -STOP $! 2>/dev/null || break
    sleep 1  # Pause it for a second
    kill -CONT $! 2>/dev/null || break
done

Первая sleepрегулирует время сна, вторая - время работы. В настоящее время он имеет 50% -ный рабочий цикл. Чтобы поддерживать температуру на низком уровне, вам, скорее всего, потребуется уменьшить рабочий цикл до 25% или ниже (1 секунда бега, 3 секунды сна = 1 из каждых 4 секунд = 25% рабочего цикла). sleepКстати, команда оболочки может занимать немного времени. Так что вы могли бы даже сказать sleep 0.1. Держите его более 0,001, чтобы быть уверенным, и не забывайте, что выполнение скрипта также увеличивает время.

Более общий способ ограничения использования ЦП - использование /sys. В любом случае это похоже на то, что вам нужно, поскольку другие вещи, кроме tarспособных выполнять вычислительно дорогостоящие задачи, просто то, что вы видите, tarделает это больше всего.

Способ сделать это состоит в том, чтобы:

1. перейдите к /sys/devices/system/cpu/cpuX/cpufreqкаждому из ваших процессоров (замените cpuXкаждый процессор).
2. Затем посмотрите в файле, scaling_available_frequenciesчтобы увидеть, какие частоты поддерживает ваш процессор.
3. Выберите частоту (скажем, 1234567) и выполните echo 1234567 > scaling_max_freq

Это предотвратит превышение процессором частоты выше указанной частоты.