Кеширование файловой системы через интернет

1

Я храню все свои файлы на своем частном сервере (линия DSL, сеть / 28, но все еще медленная, особенно в восходящем потоке, который составляет 512 кбит). Это хорошо работает для моих небольших файлов, всех моих писем, Zarafa и т. Д.

Но для больших файлов (особенно Fotos) это слишком медленно. Кроме того, я хочу поделиться фотографиями с семьей. В локальной сети это уже сделано с помощью Samba, у каждого пользователя есть свой пользователь (LDAP).

Для ускорения доступа в Интернет у меня есть vServer с быстрым подключением, но не так много места (10 ГБ).

Было бы здорово, если бы это можно было использовать для ускорения доступа к файлам из Интернета.

Одним из планов будет доступ к файлам через Samba / NFS через туннель OpenVPN, добавление кеша, а затем использование ownCloud или WebDAV на vServer.

Система кэширования должна будет поддерживать:

1.) Сохраните все доступные файлы в кеше (10 Гб) и извлеките их из кеша, если они существуют. Сначала можно / нужно выполнить небольшой мета-запрос, чтобы проверить, изменился ли файл на мастере (просто дата модификации)

2.) Записанные файлы должны храниться в кеше (это быстро) и последовательно обновляться на мастере. Когда файл открыт для записи, файл может быть заблокирован на главном, чтобы избежать конфликтов

3.) Кэш должен быть всегда заполнен (10 ГБ) и пережить перезагрузку / отключение. Когда требуется новое пространство, для удаления старых записей из кэша следует использовать метод, такой как LRU или NRU.

Я с трудом могу себе представить, что для этого нет решения, но я не смог его найти. Есть идеи как это решить?

— DIVB
источник

Рассматривали ли вы настройку запланированного процесса rsync? Это, безусловно, имеет меньше издержек, чем любая файловая система, и копирует только измененные / обновленные файлы. Бесстыдное продвижение и пример rsync: github.com/paravz/windows-rsync-backup

— Алек Истомин

Rsync не работает - это полудуплекс. Что произойдет, если файл будет изменен на ведущем и подчиненном устройствах? Я думал о том, чтобы создать что-то подобное с унисон - но это звучит громоздко, много работы, нелегально, ...

— divB

1

Попробуйте cachefilesd и fs-cache. У меня нет опыта работы с ними, но их описание соответствует вашим требованиям.

— user3422070
источник

1

Облачная система хранения, такая как DropBox, Google Drive, SugarSync и т. Д., Может удовлетворить большинство ваших требований в зависимости от количества и размеров файлов. Хитрый момент - как бороться с блокировками / конфликтами.

— грабить
источник

Конечно, все, что связано с облаком - это то, чего я НЕ хочу! В противном случае я мог бы использовать это напрямую. Мои ценные личные данные никогда (добровольно) не попадут в такую облачную систему

— divB

Спасибо за разъяснения. Это не было ясно из вашего вопроса, так как у вас есть «vServer», который я интерпретировал как виртуальный частный сервер, размещенный в центре обработки данных (технически «в облаке»). Хотя ответ вам не помог, я оставлю его на тот случай, если у кого-то еще возникнет тот же вопрос, но он подходит для использования облачных сервисов.

— ограбить

0

Ну, всегда остается тот факт, что вы должны передать его с вашего компьютера на этот виртуальный сервер, и это всегда будет медленно.

Хотите по-настоящему ускорить его, обновить доступ к Интернету для более быстрой загрузки или убедиться, что файлы поступают на ваш сервер vServer, не проходя через ваш собственный компьютер.

Это может быть достигнуто, если вы используете такие вещи, как VNC, Teamviewerи logmeinт. Д., Чтобы получить доступ и работать на вашем сервере и выполнять всю работу там. Но вам, скорее всего, не хватит места на диске быстро, потому что у вас нет всех доступных инструментов на вашем компьютере, поэтому вы не можете быстро редактировать фотографию, поэтому вам также нужно установить редактор фотографий там. и это занимает место.

— LPChip
источник

Это не решение. Технически, подобные вещи должны существовать, потому что они даже используются сетями распространения контента и т. Д.

— divB