Я хочу перенести LMDB с моего локального компьютера на другой удаленный компьютер, но с размером файла есть некоторые странности. Согласно файловой системе, LMDB - это каталог, содержащий два файла: data.mdb и lock.mdb.
Вывод ls -altoh lmdb
указывает, что файл data.mdb имеет размер 4T, что соответствует параметру map_size, который я использовал для создания LMDB. Все это означает, что при открытии БД ОС будет отображать файл в памяти, предоставляя ему 4T виртуального пространства. Вывод du -hs lmdb
указывает, что lmdb занимает ~ 900 МБ диска, что согласуется с сообщением map_size python -mlmdb -e lmdb stat
.
Когда я делаю локальную копию cp -r lmdb lmdb_copy
, она работает как положено: копируется 900 МБ данных. То же самое, когда я делаю scp -r lmdb lmdb_copy2
(используя scp для локального копирования).
Однако, когда я делаю удаленное копирование scp -r lmdb user@remotehost:~/lmdb_copy
, scp пытается скопировать 4T данных, как указано индикатором выполнения. Я остановил scp после того, как 2 ГБ данных были переданы.
На удаленной машине 'ls
и du
2 ГБ как размер LMDB. python -mlmdb -e lmdb_copy stat
сообщает правильный размер 900 МБ и что все записи есть. Я подтвердил, что могу распечатать все ключи, и они верны.
С этим фоном у меня возникает вопрос: почему scp пытается скопировать все 4T размера карты памяти? В идеале, я хотел бы позволить scp делать свою работу в фоновом режиме, не убивая ее вручную.
ls
отображал правильный размер файла), чтобы scp работал как положено.