Очистите кеш файлов, чтобы повторить тестирование производительности

Какие инструменты или методы я могу использовать для удаления содержимого кэшированных файлов, чтобы предотвратить искажение результатов моей производительности? Я считаю, что мне нужно либо полностью очистить, либо выборочно удалить кешированную информацию о содержимом файлов и каталогов.

Приложение, которое я разрабатываю, представляет собой специализированную утилиту сжатия, и ожидается, что оно будет выполнять много работы по чтению и записи файлов, которые операционная система не затрагивала в последнее время, и чьи дисковые блоки вряд ли будут кэшироваться.

Я хочу убрать вариативность, которую я наблюдаю во время ввода-вывода, когда я повторяю задачу профилирования различных стратегий для выполнения работы по обработке файлов.

Меня в первую очередь интересуют решения для Windows XP, так как это моя основная машина для разработки, но я также могу тестировать с использованием Linux, поэтому меня также интересуют ответы для этой среды.

Я попробовал SysInternals CacheSet , но нажатие кнопки «Очистить» не привело к заметному увеличению (восстановлению времени после холодной перезагрузки) времени на повторное чтение файлов, которые я только что прочитал несколько раз.

Используйте приложение RAMMap от SysInternal .

Параметр меню «Пустой / пустой резервный список» очищает файловый кеш Windows.

В Windows XP вы должны иметь возможность очистить кеш для определенного файла, открыв файл с помощью CreateFile с параметрами FILE_FLAG_NO_BUFFERING, а затем закрыв дескриптор. Это не задокументировано, и я не знаю, работает ли это в более поздних версиях Windows, но я использовал это давно, когда писал тестовый код для сравнения библиотек сжатия файлов. Я не помню, повлиял ли на этот трюк доступ для чтения или записи.

Быстрый поиск в Google дает эти варианты для Linux

1. Размонтируйте и смонтируйте раздел, содержащий файлы
2. sync && echo 1 > /proc/sys/vm/drop_caches

Утилиту командной строки можно найти здесь

из источника:

EmptyStandbyList.exe это инструмент командной строки для Windows (Vista и выше), который может очищать:

• технологические рабочие наборы,
• измененный список страниц,
• резервные списки (приоритеты от 0 до 7) или
• только резервный список с приоритетом 0.

Использование:

EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist

 #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

с опцией совета POSIX_FADV_DONTNEED:
указанные данные не будут доступны в ближайшем будущем.

Я нашел один метод (кроме перезагрузки), который, кажется, работает:

1. Запустите несколько копий MemAlloc
2. Для каждого из них несколько раз выделяйте большие куски памяти
3. Используйте Process Explorer, чтобы наблюдать, как размер системного кэша уменьшается до очень низкого уровня
4. Закройте программы MemAlloc

Однако это не избирательно. В идеале я хотел бы иметь возможность очищать определенные части памяти, используемые для кэширования дисковых блоков файлов, которые я больше не хочу кэшировать.

Для лучшего обзора кэша файловой системы Windows XP - попробуйте ATM от Тима Мургента - он позволяет увидеть как размер рабочего набора кэша файловой системы, так и размер резервного списка в более подробном и точном виде. Для Windows XP - вам понадобится старая версия 1 банкомата, которую можно загрузить здесь, поскольку для V2 и V3 требуется Server 2003, Vista или выше.

Вы заметите, что хотя Sysinternals Cacheset уменьшит "Cache WS Min", фактические данные все еще продолжают существовать в форме списков ожидания, откуда их можно использовать, пока они не будут заменены чем-то другим. Чтобы затем заменить его чем-то другим, используйте такие инструменты, как MemAlloc или flushmem от Чада Остина или Consume.exe из набора инструментов Windows Server 2003 Resource Kit .

Поскольку вопрос также задан для Linux, есть связанный ответ здесь .

Инструмент командной строки vmtouch позволяет, помимо прочего, добавлять и удалять файлы и каталоги из системного файлового кеша.

Существует вызов Windows API https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize, который можно использовать для очистки кеша файловой системы. Его также можно использовать для ограничения размера кеша до очень маленького значения. Идеально подходит для такого рода тестов.