Как я могу прозрачно кэшировать любой каталог или смонтированную файловую систему для чтения и обратной записи?

22

Скажем, я смонтировал некоторое облачное хранилище (в моем случае Amazon Cloud Drive) с клиентом FUSE по адресу /mnt/cloud. Но из-за того, что чтение и запись файлов напрямую в них /mnt/cloudпроисходит медленно, потому что они должны проходить через Интернет, я хочу кэшировать файлы, из которых я читаю, и записываю их в облачное хранилище. Поскольку я могу писать много данных одновременно, кеш должен находиться на моем диске, а не в оперативной памяти. Но я не хочу копировать все облачное хранилище на моем диске, потому что мой диск может быть слишком маленьким.

Поэтому я хочу иметь кэшированное представление в /mnt/cloudсмонтированном месте /mnt/cloud_cache, которое использует другой путь, скажем, /var/cache/cloudкак место кэширования.

Если я сейчас читаю /mnt/cloud_cache/file, я хочу, чтобы произошло следующее:

Проверьте, fileкэшируется ли в /var/cache/cloud/file.

Если кешируется: проверка fileв кеше актуальна путем извлечения modtime и / или контрольной суммы из /mnt/cloud. Если он актуален, подайте файл из кэша, в противном случае перейдите к 2.
Если не кэшируются или кэш неприменяющийся: Копировать /mnt/cloud/fileв /var/cache/cloud/fileи обслуживать его из кэша.

Когда я пишу /mnt/cloud_cache/file, я хочу, чтобы это произошло:

Написать /var/cache/cloud/fileи записать в журнал, который fileнужно написать обратно/mnt/cloud
Дождитесь окончания /var/cache/cloud/fileзаписи и / или /mnt/cloudзавершения предыдущих обратных записей
Копировать /var/cache/cloud/fileв/mnt/cloud

У меня есть следующие требования и ограничения:

Бесплатный и открытый исходный код
Возможность установки кеша в произвольном месте кеша
Возможность кэшировать произвольное местоположение (возможно, некоторую точку монтирования FUSE)
Прозрачное кеширование, т.е. использование /mnt/cloud_cacheпрозрачно для механизма кеширования и работает как любая другая смонтированная файловая система
Ведение записи о том, что необходимо записать обратно (в кэш может поступить много данных, которые необходимо записать обратно в исходное хранилище в течение нескольких дней)
Автоматическое удаление кэшированных файлов, которые были записаны назад или не были доступны в течение некоторого времени
Согласованность (то есть отражение внешних изменений /mnt/cloud) не очень важна, так как я, вероятно, буду иметь доступ только к одному клиенту /mnt/cloudза раз, но было бы неплохо иметь.

Я потратил довольно много времени на поиск существующих решений, но не нашел ничего удовлетворительного.

FS-Cache и CacheFS ( https://www.kernel.org/doc/Documentation/filesystems/caching/fscache.txt ), похоже, работают только с файловыми системами nfsили с ними afs, и я не знаю, как заставить его кэшировать другой файл FUSE. Система или любой общий каталог.
Похоже, что bcache ( https://bcache.evilpiepirate.org/ ) работает только с блочными устройствами, т.е. не может кэшировать другую файловую систему FUSE.
gcsfuse ( https://github.com/GoogleCloudPlatform/gcsfuse ) Я думаю, что это именно то, что я хочу, но оно интегрировано с Google Cloud Storage. Чтобы заставить его работать в целом, мне придется взломать его и изменить любой доступ к GCS на локальный доступ к файлам в заданной точке монтирования или доступ к Amazon Cloud Drive.

cache fuse cloud

— Flecto
источник

2

Любопытно, если вы когда-нибудь нашли решение? Поиск аналогичного слоя кэширования с аналогичными требованиями требует вашего собственного.

— SS44

1

bitbucket.org/nikratio/s3ql делает в основном то, что я хочу. Однако, к сожалению, это не слишком хорошо работает с Amazon Cloud Drive, в частности (в основном из-за ошибки ACD из-за отсутствия хорошего Linux-клиента)

— Flecto

Я сам использовал s3ql в прошлом, но переход на ACD для моих файлов, казалось, ограничивал его использование с этим провайдером. Проблемы с согласованностью данных с s3ql, когда сбор данных> 2TB. RClone кажется многообещающим, но упускает этот важный элемент кэширования.

— SS44

Если вы серьезно заинтересованы в этом - мы можем написать это на C ++, используя tmpfs и stat.

— ГОСТ

3

Попробуйте использовать catfs , общую файловую систему для кэширования fuse, над которой я сейчас работаю.

— KHC
источник

1

От того, что я вижу до сих пор, это работает как шарм. Большое спасибо!

— Алфе

2

Можно использовать FS-Cache / CacheFS для кэширования смонтированной на предохранителе системы, добавив промежуточную переадресацию NFS: Если ваше монтирование с предохранителем установлено на / fusefs, то поделитесь им с самим собой на nfs, написав это в / etc / exportfs:

/fusefs localhost(fsid=0)

Теперь вы можете сделать это:

mount -t nfs -o fsc localhost:/fusefs /nfs systemctl start cachefilesd

и / nfs предложит кэшированный доступ к / fusefs.

Я использую этот подход с sshfs в качестве задней ФС, он прекрасно работает.

(К сожалению, это только ускоряет доступ содержимого файла, метаданные файла не кэшируются , так statи openпо - прежнему медленно).

— Эрик Карстенсен
источник

1

Это невежественный ответ, поскольку у меня нет доступа к облачному каталогу Amazon, с помощью которого можно его протестировать. Но в духе «Как это сделать» : настройте облако Amazon для обслуживания NFS , а затем удаленно войдите на этот сервер NFS, используяcachefilesd .

_{"Проще сказать, чем сделать..."}

— АРУ
источник