Как я могу ограничить полосу пропускания, используемую процессом?

У меня есть сервер CentOS 5.7, который будет выполнять резервное копирование своих файлов каждую ночь. Я обеспокоен тем, что посетители различных сайтов, на которых размещается сервер, будут испытывать снижение производительности, пока резервная копия передается по сети.

Можно ли ограничить максимально допустимую пропускную способность процесса сетевым интерфейсом? Я хотел бы ограничить передачу файлов по SSH только половиной моей доступной пропускной способности. Это может быть на стороне сервера или клиента; то есть я был бы рад сделать это либо на клиенте, который инициирует соединение, либо на сервере, который получает соединение.

_{(К сожалению, я не могу добавить интерфейс для выделения резервных копий. Я мог бы увеличить доступную пропускную способность, но это просто означало бы, что передача по сети завершится быстрее, но при этом максимально увеличит общую емкость соединения.)}

Некоторый Фон

Возможно, какой-то фон в порядке. Возвращаясь назад, я столкнулся с проблемой нехватки локального пространства для создания самой резервной копии. Введите SSHFS! Резервная копия сохраняется на том, что якобы является локальным диском, поэтому на самом веб-сервере никогда не будет битов резервного копирования.

Почему это важно? Потому что это, казалось бы, делает недействительным использование почтенного rsync --bwlimit. rsyncфактически не выполняет передачу, и не может, потому что я даже не могу сэкономить место для сохранения файла резервной копии.

Я слышу, как вы спрашиваете: «Итак, подождите, зачем вам вообще делать файл резервной копии? Почему не только rsyncисходные файлы и папки?» Потому что надоедливая штука под названием "Plesk" в миксе! Это мой клиентский веб-хостинг, который использует Plesk для удобства. Поэтому я использую Plesk для запуска резервного копирования, потому что Plesk добавляет в резервную копию все виды дополнительной магии, что делает ее использование во время процедуры восстановления очень безопасным.

грустное лицо

Вы можете использовать iptablesдля маркировки пакета (--pid-owner ...), а затем использовать tcдля формирования трафика. Также «--sid-owner» может использоваться для включения потоков и дочерних элементов этого процесса.

http://www.frozentux.net/iptables-tutorial/iptables-tutorial.html#OWNERMATCH

Соответствие --pid-owner
Kernel 2.3, 2.4, 2.5 и 2.6
Пример iptables -A OUTPUT -m owner -pid-owner 78
Объяснение Это сравнение используется для сопоставления пакетов на основе идентификатора процесса (PID), который за них отвечал. Это соответствие немного сложнее в использовании, но одним примером может быть только разрешение PID 94 отправлять пакеты с порта HTTP (если, конечно, процесс HTTP не является многопоточным). В качестве альтернативы мы могли бы написать небольшой скрипт, который получает PID из вывода ps для определенного демона, а затем добавляет для него правило. Например, у вас может быть правило, как показано в примере Pid-owner.txt

Один из вариантов, который я только что обнаружил, - это использовать струйку .

Trickle - это портативный и легкий формирователь полосы пропускания. Он может работать в совместном режиме (вместе с ручным режимом) или в автономном режиме.

Trickle работает, используя преимущества предварительной загрузки загрузчика Unix. По сути, он предоставляет приложению новую версию функциональности, которая требуется для отправки и получения данных через сокеты. Затем он ограничивает трафик на основе задержки отправки и получения данных через сокет. trickle работает полностью в пользовательском пространстве и не требует прав root.

Если вы можете писать в канал (или стандартный вывод), вы можете установить команду pv(просмотрщик каналов). Первоначально он был написан для отображения хода передачи данных по каналу.

tar cvf - /files/to/backup | pv -L 512k > /your/file/on/sshfs

   -L RATE, --rate-limit RATE
          Limit the transfer to a maximum of RATE  bytes  per  second.   A
          suffix of "k", "m", "g", or "t" can be added to denote kilobytes
          (*1024), megabytes, and so on.

Я использую rsync с опцией --bwlimit = KBPS по той же причине.

Наша 1-гигабитная сеть Ethernet легко может забить наш старый SCSI320 DAS RAID, и, по сути, некоторые из наших старых производственных систем DOS, которые используют его для своих хранилищ NFS.

Как вы переносите данные? (rsync через ssh? scp? sftp? что-то еще?)

rsync позволит вам ограничить пропускную способность (см. параметр --bwlimit = KBPS). rsync -e ssh --bwlimit ..

В качестве альтернативы, вы можете установить qdisc или его эквивалент, чтобы ограничить причудливую скорость, но я подозреваю, что в вашем случае это будет серьезным излишним. Документация по этому вопросу доступна в HOWTO по расширенной маршрутизации и управлению трафиком в Linux.