Как большинство программ синхронизации отслеживают изменения файлов?

Отслеживают ли программы синхронизации, такие как Dropbox, как правило, изменения файла, выполняя побайтовые сравнения, или используя хэши, или используя diff/ сохраняя локальные журналы фиксации, такие как контроль версий, или что?

synchronization diff

— mcandre
источник

Ответы:

В Windows есть механизм, позволяющий ОС предупреждать вас, когда происходит изменение в структуре отслеживаемых каталогов - FindFirstChangeNotification (). Когда это означает, что файл был изменен, приложение может затем сравнить файлы в измененном каталоге, чтобы найти фактические файлы, которые изменились, просмотрев размер, дату изменения, хэш и т. Д.

Это (как указывает Майкл ниже) - это то, что каждая платформа предоставит определенным образом. Я не говорил, что такого рода вещи уникальны для Windows.

— GrandmasterB
источник

И в Linux есть inotify .

— Майкл

Но что, если программа синхронизации не была запущена во время изменения файла? Не упустит ли это возможность получить уведомление от крючка?

— МакКандр

Вы использовали конкретный пример Dropbox, который обычно работает в фоновом режиме. Очевидно, что если программа не запущена, она не получит уведомление. Затем он должен использовать другие методы (возможно, измененную дату). Я не думаю, что вы получите конкретный ответ о том, какие конкретные методы используются, потому что разные программы делают вещи по-разному. Лучше спросить создателей конкретных программ, о которых идет речь.

— GrandmasterB

@mcandre Почти то, что сказал GrandmasterB - если вы пропустили уведомление, вам придется сканировать папку. В зависимости от того, насколько «точным» вы хотите быть, это может означать просто поиск новых файлов и измененных временных меток / размеров файлов (это относительно недорого), или, в худшем случае, сравнение всего файла. Такие программы, как rsync, обычно хэшируют файл по частям, поэтому изменения в данных на ранних этапах можно обнаружить раньше, но в худшем случае (файлы идентичны) вы можете прочитать все целиком.

— Даниэль Б,

В конечном итоге для сравнения файлов вам нужно сравнивать каждый байт - как еще вы заметите изменение одного байта?

В действительности вы читаете блоки байтов и вычисляете значение хеша, а затем проверяете список хешей. Хороший пример " rsync "

Насколько я знаю, dropbox только дедуплицирует целые файлы, поэтому вычислит хэш всего файла, чтобы проверить тот же файл.

— Мартин Беккет
источник

В некоторых файловых системах pst изменена дата

— ratchet freak

Разве хеширование не создает небольшой, но реальный риск коллизий, в результате чего файл не синхронизируется? Dropbox, очевидно, использует реализацию, похожую на diff. dropbox.com/help/8/en

— mcandre

@mcandre это звучит так, как будто это был бы вопрос.

— GrandmasterB

@ratchetfreak: дата изменения в некоторых системах не всегда надежна для такого рода проблем. Простое прикосновение приведет к тому, что измененная дата будет другой, тогда как синхронизация может и не потребоваться.

— Стивен Эверс

@SnOrfus затем дважды проверьте изменения, когда изменилась измененная дата

— трещотка урод

Например, в .NET есть класс FileSystemWatcher. Я уверен, что другие языки низкого уровня и среды выполнения могут предоставить аналогичные возможности.

— Nik
источник