Как кэшировать или иным образом ускорить `ду` резюме?

У нас есть большая файловая система, в которой полная du(использование диска) сводка занимает более двух минут. Я хотел бы найти способ ускорить итоги использования диска для произвольных каталогов в этой файловой системе.

Для небольших веток я заметил, что duрезультаты как-то кешируются, поскольку повторные запросы выполняются намного быстрее, но в больших ветвях ускорение становится незначительным.

Есть ли простой способ ускорить duили более агрессивно кэшировать результаты для веток, которые не были изменены со времени предыдущего поиска?

Или есть альтернативная команда, которая может доставить резюме использования диска быстрее?

Когда вы снова запускаете команду du, вы видите эффект буферизации диска. Когда вы читаете блок, его дисковый буфер сохраняется в буферном кеше, пока этот блок не понадобится Для этого вам нужно прочитать каталог и индекс для каждого файла в каталоге. Результаты du не кэшируются в этом случае, но могут быть получены с гораздо меньшим дисковым вводом-выводом.

Хотя можно было бы заставить систему кешировать эту информацию, общая производительность пострадала бы, поскольку для активно используемых файлов не было бы необходимого буферного пространства.

Сам каталог не имеет представления о размере файла, поэтому необходимо получить доступ к индексу каждого файла. Чтобы сохранить кэшированное значение в актуальном состоянии каждый раз, когда файл изменял размер, кэшированное значение необходимо будет обновить. Поскольку файл может быть указан в 0 или более каталогах, для этого требуется, чтобы индекс каждого файла знал, в каких каталогах он указан. Это значительно усложнило бы структуру индекса и снизило производительность ввода-вывода. Кроме того, поскольку du позволяет получать результаты, предполагая различные размеры блоков, данные, необходимые в кэше, должны увеличивать или уменьшать кэшированное значение для каждого возможного размера блока, что еще больше снижает производительность.

Если вы можете сделать так, чтобы разные иерархии файлов принадлежали разным группам, вы можете установить дисковые квоты . Не указывайте верхний предел (или размер диска), если он вам не нужен. Вы по-прежнему сможете мгновенно определить, какую часть своей (фактически бесконечной) квоты использует группа.

Это требует, чтобы ваша файловая система поддерживала квоты для каждой группы. Linux Ext [234] и Solaris / * BSD / Linux делают zfs. Было бы хорошо для вашего случая использования, если групповые квоты принимали во внимание ACL, но я не думаю, что они делают.

Обычное использование duможет быть значительно ускорено при использовании ncdu.

ncdu - NCurses Disk Usage

выполняет du, кэширует результаты и показывает их в хорошем графическом интерфейсе командной строки, чем-то сравнимом с du -hc -d 1 | sort -h. Первоначальное индексирование занимает столько же времени du, но поиск фактического «преступника», который заполняет драгоценное пространство, ускоряется, так как все подкаталоги имеют изначально кэшированную информацию du.

При необходимости можно обновить подкаталоги, нажав [r], а файлы / папки можно удалить, нажав [d], которые обновляют статистику для всех родительских каталогов. Удаление запрашивает подтверждение.

При необходимости дальнейшее ускорение может быть достигнуто путем предварительного кэширования ncdu -1xo- / | gzip >export.gzв cronjob и последующего доступа к нему zcat export.gz | ncdu -f-, но, очевидно, дает более устаревшую информацию.

Я предпочитаю использовать Ageu

Agedu - это программное обеспечение, которое пытается найти старые и нерегулярно используемые файлы, предполагая, что эти файлы, скорее всего, не нужны. (Например, загруженные файлы, которые были просмотрены только один раз.)

Он в основном выполняет тот же тип сканирования диска du, что и записывает время последнего доступа ко всему, что сканирует. Затем он создает индекс, который позволяет ему эффективно генерировать отчеты с краткой информацией о результатах для каждого подкаталога, а затем создает эти отчеты по запросу.

Как уже упоминалось в SHW, ageduдействительно создан индекс. Я думал, что поделюсь другим способом создания индекса после прочтения locatedb. Вы можете создать свою собственную версию locatedbиз duвывода:

du | awk '{print $2,$1}' | /usr/lib/locate/frcode > du.locatedb

awkпереставляет вывод du, чтобы сначала иметь имена файлов, чтобы это frcodeработало правильно. Затем используйте locateэту базу данных, чтобы быстро сообщить об использовании диска:

locate --database=du.locatedb pingus

Вы можете расширить это в соответствии с вашими потребностями. Я думаю, что это хороший вариант использованияb.

duc

(см. https://duc.zevv.nl ) может быть то, что вы ищете.

Duc сохраняет использование диска в оптимизированной базе данных, что обеспечивает быстрый пользовательский интерфейс. Нет времени ожидания после завершения индекса.

Обновление индекса очень быстро для меня (менее 10 секунд для файлов размером около 950 КБ в каталогах 121 КБ, 2,8 ТБ). Имеет графический интерфейс и пользовательский интерфейс ncurses.

Использование, например:

duc index /usr
duc ui /usr

С веб-сайта:

Duc создан для масштабирования до огромных файловых систем: он будет индексировать и отображать сотни миллионов файлов в петабайтах памяти без проблем.

У меня есть cronjob, настроенный для запуска updatedb каждые 10 минут. Сохраняет все буферы файловой системы красивыми и свежими. Можно также использовать эту дешевую оперативную память для чего-то хорошего. Используйте slabtop, чтобы увидеть «до» и «после».

Если вам нужно знать только размер каталога, вы можете значительно ускорить его, просто избегая вывода информации на экран. Поскольку итоговая сумма является последней строкой duкоманды, вы можете просто передать ее tail.

du -hc | tail -n 1

Структура каталога объемом 2 ГБ занимает более секунды для полного списка, но менее 5-й от этой формы.