Эффективно удалить большой каталог, содержащий тысячи файлов

У нас есть проблема с папкой, которая становится громоздкой с сотнями тысяч крошечных файлов.

Есть так много файлов, что выполнение rm -rfвозвращает ошибку, и вместо этого нам нужно сделать что-то вроде:

find /path/to/folder -name "filenamestart*" -type f -exec rm -f {} \;

Это работает, но очень медленно и постоянно не хватает памяти.

Есть лучший способ сделать это? В идеале я хотел бы удалить весь каталог, не заботясь о содержимом внутри него.

Использование rsync удивительно быстро и просто.

mkdir empty_dir
rsync -a --delete empty_dir/    yourdirectory/

В ответе @ sarath упоминается еще один быстрый выбор: Perl! Его тесты быстрее, чем rsync -a --delete.

cd yourdirectory
perl -e 'for(<*>){((stat)[9]<(unlink))}'

Источники:

1. https://stackoverflow.com/questions/1795370/unix-fast-remove-directory-for-cleaning-up-daily-builds
2. http://www.slashroot.in/which-is-the-fastest-method-to-delete-files-in-linux

Кто-то в Twitter предложил использовать -deleteвместо-exec rm -f{} \;

Это повысило эффективность команды, хотя она все еще использует рекурсию для прохождения всего.

Как насчет чего-то вроде: find /path/to/folder -name "filenamestart*" -type f -print0 | xargs -0rn 20 rm -f

Вы можете ограничить количество удаляемых файлов одновременно, изменив аргумент для параметра -n. Имена файлов с пробелами также включены.

Расширяя один из комментариев, я не думаю, что вы делаете то, что, как вы думаете, вы делаете.

Сначала я создал огромное количество файлов, чтобы смоделировать вашу ситуацию:

$ mkdir foo
$ cd foo/
$ for X in $(seq 1 1000);do touch {1..1000}_$X; done

Затем я попробовал то, что я ожидал потерпеть неудачу, и как это звучит, как вы делаете в вопросе:

$ rm -r foo/*
bash: /bin/rm: Argument list too long

Но это делает работу:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Умный трюк:

rsync -a --delete empty/ your_folder/

Это супер интенсивно использует процессор, но действительно очень быстро. См. Https://web.archive.org/web/20130929001850/http://linuxnote.net/jianingy/en/linux/a-fast-way-to-remove-huge-number-of-files.html.

У меня была возможность проверить, -deleteпо сравнению с -exec rm \{\} \;и для меня -deleteбыл ответ на эту проблему.

Использование -deleteудаленных файлов в папке из 400 000 файлов как минимум в 1000 раз быстрее, чем rm.

Статья «Как удалить большое количество файлов в Linux» предполагает, что это примерно в три раза быстрее, но в моем тесте разница была гораздо более существенной.

О -deleteпараметре выше: я использую его для удаления большого количества файлов (1M + est) во временной папке, которую я создал и случайно забыл очистить ночью. Я случайно заполнил свой диск / раздел, и ничто иное не могло удалить их, кроме find .команды. Это медленно, сначала я использовал:

find . -ls -exec rm {} \;

Но это заняло ЧРЕЗВЫЧАЙНОЕ количество времени. Примерно через 15 минут он начал удалять некоторые файлы, но я предполагаю, что он удалял менее 10 или около того в секунду после того, как он наконец запустился. Итак, я попробовал:

find . -delete

вместо этого, и я позволю этому бежать прямо сейчас. Кажется, он работает быстрее, хотя это ЧРЕЗВЫЧАЙНО увеличивает нагрузку на ЦП, чего не было у другой команды. Он работает уже около часа, и я думаю, что я снова получаю место на моем диске, и раздел постепенно «уменьшается», но это все еще занимает очень много времени. Я серьезно сомневаюсь, что он работает в 1000 раз быстрее, чем другие. Как и во всем, я просто хотел указать на компромисс между пространством и временем. Если у вас есть запасная пропускная способность ЦП (у нас есть), запустите последний. Мой процессор работает ( uptimeсообщает):

10:59:17 up 539 days, 21:21,  3 users,  load average: 22.98, 24.10, 22.87

И я видел, что средняя нагрузка превышает 30,00, что не хорошо для загруженной системы, но для нашей, которая обычно слегка загружена, это нормально в течение пары часов. Я проверил большинство других вещей в системе, и они все еще отзывчивы, так что пока все в порядке.

Есть несколько методов, которые можно использовать для удаления большого количества файлов в Linux. Вы можете использовать команду find with delete, которая работает быстрее, чем опция exec. Тогда вы можете использовать perl unlink, затем даже rsync. Как удалить большое количество файлов в Linux

Подумайте об использовании тома Btrfs и просто удалите весь том для такого каталога с большим количеством файлов.

В качестве альтернативы вы можете создать файл образа FS, затем размонтировать и удалить его, чтобы действительно быстро все удалить.

Предполагая, что GNU parallelустановлен, я использовал это:

parallel rm -rf dir/{} ::: `ls -f dir/`

и это было достаточно быстро.

Используйте rm -rf directoryвместо rm -rf *.

Первоначально мы делали, rm -rf *находясь в каталоге, чтобы очистить содержимое и думали, что это было настолько быстро, насколько это возможно. Но затем один из наших старших инженеров предложил нам избегать использования звездочек ( *) и вместо этого передавать в родительский каталог, например rm -rf directory.

После некоторых серьезных дискуссий о том, как это не будет иметь значения, мы решили сравнить его с третьим методом использования find. Вот результаты:

time rm -rf *                   2m17.32s
time rm -rf directory           0m15.60s
time find directory -delete     0m16.97s

rm -rf directoryпримерно в 9 раз быстрее, чем rm -rf *!

Само собой разумеется, мы купили тому инженеру пиво!

Так что теперь мы используем, rm -rf directory; mkdir directoryчтобы удалить каталог и заново создать его.

Как я узнал на этом сайте , для удаления каталогов REALLY LARGE необходим другой подход - вам нужно будет использовать ionice.It гарантирует (с -c3), что удаление будет выполняться только тогда, когда у системы есть время IO для этого. Нагрузка на ваши системы не возрастет до высокого уровня, и все останется отзывчивым (хотя время, затрачиваемое на поиск процессора, было довольно высоким - около 50%)

find <dir> -type f -exec ionice -c3 rm {} \;

Если у вас есть миллионы файлов, и каждое из вышеперечисленных решений подвергает вашу систему стрессу, вы можете попробовать это вдохновение:

Файл nice_delete:

#!/bin/bash

MAX_LOAD=3
FILES=("$@")
BATCH=100

while [ ${#FILES[@]} -gt 0 ]; do
    DEL=("${FILES[@]:0:$BATCH}")
    ionice -c3 rm "${DEL[@]}"
    echo -n "#"
    FILES=("${FILES[@]:$BATCH}")
    while [[ $(cat /proc/loadavg | awk '{print int($1)}') -gt $MAX_LOAD ]]; do
        echo -n "."
        sleep 1
    done
done

А теперь удалите файлы:

find /path/to/folder -type f -exec ./nice_delete {} \+

Find создаст пакеты (см. getconf ARG_MAX) Из нескольких десятков тысяч файлов и передаст их nice_delete. Это создаст еще меньшие партии, чтобы позволить спать, когда обнаружена перегрузка.

ls -1 | xargs rm -rf 

должен работать внутри главной папки

Для подсказки Изкаты выше:

Но это делает работу:

$ rm -r foo/
$ ls foo
ls: cannot access foo: No such file or directory

Это почти сработало - или сработало бы - но у меня были некоторые проблемы с разрешением; файлы были на сервере, но я все еще не понимаю, откуда возникла проблема с разрешениями. В любом случае, Терминал запросил подтверждение для каждого файла. Количество файлов было около 20 000, так что это не вариант. После «-r» я добавил опцию «-f», поэтому вся команда была « rm -r -f foldername / ». Тогда это, казалось, работало нормально. Я новичок в Терминале, но я думаю, что все в порядке, верно? Спасибо!

В зависимости от того, насколько хорошо вам нужно избавиться от этих файлов, я бы предложил использовать shred.

$ shred -zuv folder

Если вы хотите очистить каталог, но не можете удалить его и воссоздать, я советую переместить и воссоздать его немедленно.

mv folder folder_del
mkdir folder
rm -rf folder_del

это быстрее, хотите верьте, хотите нет, так как нужно изменить только один инод. Помните: вы не можете распараллелить этот тест на многоядерном компьютере. Это сводится к доступу к диску, который ограничен RAID или что у вас есть.

Если вы просто хотите избавиться от множества файлов как можно быстрее, это ls -f1 /path/to/folder/with/many/files/ | xargs rmможет сработать, но лучше не запускать его на производственных системах, поскольку ваша система может стать причиной проблем с вводом-выводом, а приложения могут застрять во время операции удаления.

Этот скрипт прекрасно работает для многих файлов и не должен влиять на загрузку системы.

#!/bin/bash

# Path to folder with many files
FOLDER="/path/to/folder/with/many/files"

# Temporary file to store file names
FILE_FILENAMES="/tmp/filenames"

if [ -z "$FOLDER" ]; then
    echo "Prevented you from deleting everything! Correct your FOLDER variable!"
    exit 1
fi

while true; do
    FILES=$(ls -f1 $FOLDER | wc -l)
    if [ "$FILES" -gt 10000 ]; then
        printf "[%s] %s files found. going on with removing\n" "$(date)" "$FILES"
        # Create new list of files
        ls -f1 $FOLDER | head -n 5002 | tail -n 5000 > "$FILE_FILENAMES"

        if [ -s $FILE_FILENAMES ]; then
            while read FILE; do
                rm "$FOLDER/$FILE"
                sleep 0.005
            done < "$FILE_FILENAMES"
        fi
    else
        printf "[%s] script has finished, almost all files have been deleted" "$(date)"
        break
    fi
    sleep 5
done