Почему фотографии повреждены на жестких дисках ПК?

Я не профессиональный фотограф, но я очень ценю свои фотографии. Иногда, когда я просматриваю их спустя месяцы или годы после того, как я их забрал, некоторые из них просто кажутся испорченными без видимой причины. Я часто получаю такие вещи, как серые области, измененные цвета, начиная с определенной точки, или даже совершенно не воспроизводимые фотографии. Я использую ОС Windows и Linux на своих ПК.

Почему это происходит и, самое главное, как этого избежать ?

Есть две основные причины. Первое - это ухудшение качества данных . Биты, хранящиеся на магнитном носителе (например, на жестком диске), могут со временем потерять магнитную ориентацию, что приведет к их повреждению. В более жестких условиях (высокая температура и влажность) сам физический носитель может начать ухудшаться. Для твердотельных носителей, таких как SSD, механизм отличается, но результат аналогичен.

Более распространенным явлением является повреждение данных без вывода сообщений , в результате чего возникает ошибка во время записи или чтения данных. Хотя изображение по предыдущей ссылке является крайним примером, часто один перевернутый бит может повредить изображение.

Есть два решения этих проблем, и, если вы поверните свои резервные копии, одни только резервные копии не помогут. Более сложный и технический подход заключается в использовании файловой системы со встроенными механизмами целостности данных (например, ZFS или btrfs), тогда как более простой подход заключается в вычислении хэша для каждого файла между резервными копиями для обнаружения любых изменений.

Я не буду сильно беспокоиться о том, как это происходит, потому что жесткие диски выйдут из строя; как и все в этом мире, они не идеальны. Вы не можете добраться до состояния, когда вы никогда не потеряете файл.

Тем не менее, вы можете перейти в состояние, в котором вы никогда не потеряете фотографию - вы делаете это, имея несколько копий на разных жестких дисках, включая, по крайней мере, одну в отдельном физическом месте. Тогда не имело значения, что один диск вышел из строя, потому что вы можете просто получить фотографию из другого места.

Ответ на вопрос, почему это происходит, зависит от типа диска, типа файла, файловой системы и используемой операционной системы, поэтому невозможно дать полный ответ на этот вопрос.

Но что касается того, как этого избежать, другой ответ касается наличия резервных копий - однако при таком повреждении файла вам нужен способ определить, была ли повреждена конкретная копия вашего файла, и избегать копирования этого в ваши резервные копии. Очень легко получить 2 поврежденных копии файла. Технический ответ - использовать контрольные суммы и сравнивать их для выявления поврежденных файлов.

Лучший способ избежать этого в наши дни - использовать онлайн-сервис хранения, который будет обрабатывать все избыточность и целостность файлов для вас.

Файлы фотографий не являются особенными в этом отношении, любой файл на компьютере может быть поврежден. Вероятно, JPEG-файлы с большей вероятностью обнаружат искажение очевидным образом, чем многие другие типы файлов, поэтому вы можете заметить это больше (см. Комментарий @ pipe к ответу @ alldayremix).

Файлы могут быть повреждены разными способами, жесткие диски (не SSD) могут быть расположены слишком близко к магниту, компакт-диски и DVD-диски могут постепенно гнить, а электрические помехи и ошибки в прошивке или программном обеспечении могут повредить файлы при передаче. Есть и другие причины, но я бы посоветовал спросить о стеке, связанном с компьютером, если вы хотите углубиться в детали.

С точки зрения того, что можно с этим сделать, лучший ответ, который я могу придумать, - это вычисление хешей и хранение нескольких копий фотографий. С этой целью я написал бесплатную программу с открытым исходным кодом для решения этой проблемы для себя: Archiverify .

Он работает путем вычисления хешей, хранения хешей вместе с изображениями и сравнения файлов с хешами при запуске. Если у вас есть более одной копии файла, он может автоматически восстановить поврежденную копию из хорошей (при условии, что обе не повреждаются сразу).

Кроме того, я уверен, что есть платные службы хранения / резервного копирования, которые будут периодически выполнять хеширование и проверку для вас.

Есть несколько причин, как указано выше. Это может быть естественный износ с течением времени, который повреждает биты файлов или приводит к ухудшению физического состояния. Если вы постоянно находите фотографии и другие файлы, сильно поврежденные, это может быть признаком компьютерного вируса. Если вы не хотите, чтобы ваши файлы были повреждены первыми двумя способами, тогда инвестируйте в твердотельный накопитель, поскольку он не будет деградировать так же быстро и в 10 раз быстрее. (Вы также можете сделать быструю проверку на вирусы.)

Почему это происходит и, самое главное, как этого избежать?

Вы должны задать этот вопрос на Security.SE.

Чтобы избежать коррупции, вы должны сделать резервные копии .

В информационных технологиях резервное копирование или процесс резервного копирования относится к копированию и архивированию компьютерных данных, поэтому его можно использовать для восстановления оригинала после события потери данных. Форма глагола - это резервное копирование в двух словах, тогда как существительное является резервным.

Записываемые цифровые оптические носители, такие как CD-R и DVD-R, могут быть повреждены даже солнечным светом. Чтобы избежать этого, вы можете использовать что-то вроде стратегии двойного резервного копирования. Однако в настоящее время у нас есть такие красивые онлайн-методы для резервного копирования фотографий, как Instagram или другие онлайн-сервисы. Например, за Google Drive существует большое количество дата-центров. Каждая из ваших фотографий будет храниться в файловой системе Google (GoogleFS или GFS) на серверах, расположенных в этих дата-центрах. Эта файловая система была разработана Google для защиты пользователей от потери данных. Ваши фотографии будут сохранены в трех экземплярах в трех разных географических точках для защиты от потери данных из-за локальных бедствий, вызванных молнией, цунами, землетрясением и т. Д.

Попробуйте использовать несколько онлайн-сервисов одновременно (например, megaupload, dropbox, wuala, 4shared и т. Д.).

После этого, для большего спокойствия, что ни одна из ваших фотографий не была изменена или повреждена, вы должны использовать контрольные суммы для проверки целостности ваших данных.

Контрольная сумма представляет собой элемент данных небольшого размера из блока цифровых данных с целью обнаружения ошибок, которые могли быть внесены во время его передачи или хранения.

Лучший способ - использовать криптографию для такой задачи. Используйте новейшие стабильные хеш-функции, такие как SHA-256 или SHA-512. Старые алгоритмы, такие как MD5, теперь считаются небезопасными. Современный злоумышленник может подделать ваши данные с помощью той же md5sum.

Когда вы закончите, у вас будет распределенная система резервного копирования, которую нелегко сломать даже самым искушенным и преданным злоумышленникам (например, атакам, поддерживаемым государством).

• Две копии DVD с одинаковыми данными внутри:

     1. Photo1.jpg
     2. Photo2.jpg
     3. Photo3.jpg
   ...
   999. Photo999.jpg
  1000. SHA256SUM
  

  Где этот SHA256SUM должен содержать что-то вроде:

  e5347dce99eb8cf694cf708d4a17d83abb3ec378241b5878c0abdab045859b24  Photo1.jpg
  b497a12b608def869a0429d7e6bbbd112bd413256201647a5aff6773de3b7bd9  Photo2.jpg
  b15b0d99bf8135286f444fc62bcf70278a89e60650252ab2bd3b6fffd40c4255  Photo3.jpg
  ...
  209732fbdb499f0cad6fd3311b45185667bbb40e501106997d3ac2c49cb30a7e  Photo999.jpg
  

  Строки 209732fbdb499f0cad6fd3...- это уникальные хеши ваших фотографий. Когда один фрагмент вашей фотографии станет испорченным, этот хэш будет заменен на другой, поэтому вы можете проверить хеш-значения в этом списке, чтобы убедиться, что ваши фотографии сохраняют целостность.

• Во-вторых, все эти фотографии и этот файл SHA256SUM-хэшей загружаются, например, в Dropbox и куда-то еще.

Теперь у вас есть 5 копий ваших фотографий. 2 в автономном режиме, 2 в режиме онлайн, 1 на вашем текущем жестком диске.

Схема может быть развита к чему-то более устойчивому, конечно. Ваше воображение - ваш козырь.

Я не могу исключить, что стандарты JPEG между вашей старой камерой и вашей последней программой просмотра изображений несколько разошлись, поэтому фотографии выглядят только испорченными. Иногда программное обеспечение соответствует только предварительной версии стандарта. Попробуйте старый просмотрщик (на старом компьютере).