Скопируйте существующую установку Raspbian на меньшую SD-карту

Можно ли скопировать существующую и настроенную установку Raspbian на карту SD меньшего размера?

Когда я впервые установил Raspbian, у меня была под рукой только карта на 32 ГБ, которая явно больше необходимой

В этом ответе я покажу, что нужно делать шаг за шагом, чтобы люди могли понять логику решения и уметь применять шаги в других своих проблемах.

Но, во-первых, следует отметить, что это общая проблема (не специфическая для распи) при переносе файловых систем с SD-карты на меньшую (но достаточно большую для данных) SD-карту.

Требования

Ноутбук с устройством чтения карт Micro SD и Linux (я предпочитаю Ubuntu) работает на нем.

Сокращения

PIBOX      : Raspberry Pi which is used
SD_CARD_A  : 8GB micro SD card which is used on PIBOX and on which Raspbian-lite (the OS) is installed
SD_CARD_B  : 2GB micro SD card which will be used on PIBOX and on which Raspbian-lite (the OS) will be installed

Разделы SD_CARD_A

Пока PIBOX работает, мы перечисляем разделы (ненужные системные разделы здесь не отображаются).

root@pibox:~# df -Th
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/root      ext4      7.3G  1.1G  5.9G  16% /
/dev/mmcblk0p1 vfat       63M   21M   43M  33% /boot

На SD_CARD_A есть 2 раздела как /и /boot. Даже 2 ГБ не используется в общей сложности.

Резервная копия SD_CARD_A

После того, как мы завершим работу и остановим PIBOX, мы вытащим SD_CARD_A из платы PIBOX и поместим его в кард-ридер нашего ноутбука.

Разделы SD_CARD_A автоматически монтируются в нашу систему как /dev/sdc1и /dev/sdc2.

root@mylaptop:~# df -Th
Filesystem                    Type      Size  Used Avail Use% Mounted on
/dev/sdb2                     ext4       22G   13G  7.9G  63% /
/dev/sdb1                     vfat      197M  2.6M  195M   2% /boot/efi
/dev/sda8                     ext4       66G   11G   52G  17% /home
/dev/sdc1                     vfat       63M   21M   43M  33% /media/some_user_name/boot
/dev/sdc2                     ext4      7.3G  1.1G  5.9G  16% /media/some_user_name/some_uuid_serial

Мы размонтируем эти разделы из нашей системы, чтобы успешно на них работать.

root@mylaptop:~# umount /dev/sdc1
root@mylaptop:~# umount /dev/sdc2

Мы отображаем информацию об устройстве SD_CARD_A в деталях для подтверждения в следующих шагах.

root@mylaptop:~# fdisk -l /dev/sdc
Disk /dev/sdc: 7969 MB, 7969177600 bytes
246 heads, 62 sectors/track, 1020 cylinders, total 15564800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x2019f6d8

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1            8192      137215       64512    c  W95 FAT32 (LBA)
/dev/sdc2          137216    15564799     7713792   83  Linux

Выше вы можете видеть, что SD_CARD_A имеет емкость 8 ГБ.

Мы клонируем SD_CARD_A в файл pibox.img.

root@mylaptop:~# dd bs=4MB if=/dev/sdc of=pibox.img
1992+1 records in
1992+1 records out
7969177600 bytes (8.0 GB) copied, 416.582 s, 19.1 MB/s

Проверьте размер скопированных байтов, он равен значению, которое мы получили fdisk -l /dev/sdcкомандой.

Linux loopback module

В Linux есть модуль loopback, который позволяет нам обрабатывать файл как блочное устройство.

Загружаем петлевой модуль.

root@mylaptop:~# modprobe loop

Мы находим неиспользуемый путь петлевого устройства.

root@mylaptop:~# losetup -f /dev/loop0

Теперь мы создаем петлевое устройство для файла pibox.img.

root@mylaptop:~# losetup /dev/loop0 pibox.img

Мы запускаем ядро ​​об изменениях раздела.

root@mylaptop:~# partprobe /dev/loop0

Мы подтверждаем, если предыдущие операции были успешными.

root@mylaptop:~# losetup /dev/loop0
/dev/loop0: [0806]:69 (/root/pibox.img)

Мы подробно отображаем информацию об устройстве обратной связи, чтобы сравнить ее с SD_CARD_A.

root@mylaptop:~# fdisk -l /dev/loop0
Disk /dev/loop0: 7969 MB, 7969177600 bytes
255 heads, 63 sectors/track, 968 cylinders, total 15564800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x2019f6d8

      Device Boot      Start         End      Blocks   Id  System
/dev/loop0p1            8192      137215       64512    c  W95 FAT32 (LBA)
/dev/loop0p2          137216    15564799     7713792   83  Linux

Выше вы можете видеть, что размер устройства обратной петли (= 7969177600 байт) и разделы совпадают с SD_CARD_A.

Основы математики

Отныне мы будем ориентироваться на раздел /dev/loop0p2. Давайте назовем это THE_PARTITION .

Размер блока составляет 512 байт (как показано в строке, начинающейся с Units = секторы .....)

THE_PARTITION начинается с блока 137216 и заканчивается на блоке 15564799, что означает, что он имеет размер 15427584 blocks(= 15564799 - 137216 + 1).

Итак, размер THE_PARTITION в байтах равен 7898923008 bytes(= 512 * 15427584).

Чтобы соответствовать THE_PARTITION в SD_CARD_B, мы хотим, чтобы он имел новый размер 3710940 blocks или другими словами 1900001280 bytes(= 512 * 3710940).

Таким образом, новый номер конечного блока 3848155вычисляется как start block number(= 137216) + size in blocks(= 3710940) - 1.

Файловая система против раздела

Есть 2 операции, которые не следует путать друг с другом.

• Изменение размера файловой системы. Мы уменьшим файловую систему в THE_PARTITION, установив ее размер в 3710940 blocks.
• Изменение размера раздела. Мы уменьшим THE_PARTITION, установив номер его конечного блока в 3848155.

Сжатие файловой системы

Перед сжатием файловой системы она должна быть помечена как чистая e2fsck.

root@mylaptop:~# e2fsck -f /dev/loop0p2
e2fsck 1.42.9 (4-Feb-2014)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/loop0p2: 41175/475776 files (0.2% non-contiguous), 309183/1928448 blocks

Мы сжимаем файловую систему с resize2fs.

root@mylaptop:~# resize2fs /dev/loop0p2 3710940s
resize2fs 1.42.9 (4-Feb-2014)
Resizing the filesystem on /dev/loop0p2 to 463867 (4k) blocks.
The filesystem on /dev/loop0p2 is now 463867 blocks long.

Усадочная перегородка

Мы узнаем, что такое номер THE_PARTITION parted.

root@mylaptop:~# parted /dev/loop0
GNU Parted 2.3
Using /dev/loop0
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print                                                            
Model: Loopback device (loop)
Disk /dev/loop0: 7969MB
Sector size (logical/physical): 512B/512B
Partition Table: msdos

Number  Start   End     Size    Type     File system  Flags
 1      4194kB  70.3MB  66.1MB  primary  fat16        lba
 2      70.3MB  7969MB  7899MB  primary  ext4

(parted) quit

Мы уменьшаем THE_PARTITION с parted.

root@mylaptop:~# parted /dev/loop0 unit s resizepart 2 3848155
Warning: Shrinking a partition can cause data loss, are you sure you want to continue?
Yes/No? Yes  

Мы закончили с петлевым устройством. Мы отделяем это.

root@mylaptop:~# losetup -d /dev/loop0

Усечение файла изображения

Мы проверяем новую таблицу разделов.

root@mylaptop:~# fdisk -l pibox.img 

Disk pibox.img: 7969 MB, 7969177600 bytes
255 heads, 63 sectors/track, 968 cylinders, total 15564800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x2019f6d8

    Device Boot      Start         End      Blocks   Id  System
pibox.img1            8192      137215       64512    c  W95 FAT32 (LBA)
pibox.img2          137216     3848155     1855470   83  Linux

На выходе ясно видно, что номер конечного блока THE_PARTITION уменьшается from 15564799 to 3848155.

Последний блок, который мы используем 3848155. Нумерация блоков начинается с 0. Итак, у нас всего 3848155 + 1 блок, и новый размер файла pibox.img должен быть 1970255872 bytes (= (3848155 + 1) * 512).

Усекаем файл pibox.img.

root@mylaptop:~# truncate --size=1970255872 pibox.img

Мы проверяем новый размер файла pibox.img.

root@mylaptop:~# ls -l pibox.img 
-rw-r--r-- 1 root root 1970255872 Oct 13 21:53 pibox.img

Создание SD_CARD_B

Мы поместили SD_CARD_B в картридер нашего ноутбука. Разделы SD_CARD_B автоматически монтируются в нашу систему как /dev/sdc1и /dev/sdc2.

root@mylaptop:~# df -Th
Filesystem                    Type      Size  Used Avail Use% Mounted on
/dev/sdb2                     ext4       22G   13G  7.9G  63% /
/dev/sdb1                     vfat      197M  2.6M  195M   2% /boot/efi
/dev/sda8                     ext4       66G   11G   52G  17% /home
/dev/sdc1                     vfat       63M   21M   43M  33% /media/some_user_name/boot
/dev/sdc2                     ext4      1.8G  1.6G   59M  97% /media/some_user_name/some_uuid_serial

Выше вы можете видеть, что SD_CARD_B имеет емкость 2 ГБ.

Мы размонтируем эти разделы из нашей системы для успешной работы на SD_CARD_B.

root@mylaptop:~# umount /dev/sdc1
root@mylaptop:~# umount /dev/sdc2

Мы клонируем файл pibox.img в SD_CARD_B.

root@mylaptop:~# dd bs=4MB if=pibox.img of=/dev/sdc
492+1 records in
492+1 records out
1970255872 bytes (2.0 GB) copied, 646.967 s, 3.0 MB/s

Проверьте размер скопированных байтов, он равен значению, которое мы получили ls -l pibox.imgкомандой.

Загрузка PIBOX

После того, как мы извлечем SD_CARD_B из нашего ноутбука и вставим его в плату PIBOX, мы загрузим систему и войдем в консоль PIBOX.

Мы перечисляем разделы (некоторые другие ненужные системные разделы здесь не отображаются).

root@pibox:~# df -Th
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/root      ext4      1.8G  1.1G  601M  64% /
/dev/mmcblk0p1 vfat       63M   21M   43M  33% /boot

Когда вы используете dd if=/dev/sdx of=/path/to/image bs=1M, /dev/sdxотносится ко всему «диску», поэтому изображение всегда будет размером всей карты.

Вместо этого вам нужно использовать dd if=/dev/sdxn ...где nномер раздела.

Вам, вероятно, придется сделать это дважды - один раз для /bootраздела и один раз для /раздела.

Затем вам нужно будет создать разделы на новой карте, которые будут по крайней мере такими же большими, как эти два оригинальных, чтобы вернуть содержимое обратно.

Используйте что-то вроде parted (редактор разделов), чтобы уменьшить основной раздел до меньшего размера, а затем используйте инструмент, такой как Clonezilla, чтобы скопировать с теперь меньшего раздела на вашу новую карту. Вам, вероятно, придется сделать это на другом компьютере.

1. Создайте образ карты, используя один из уже упомянутых способов - Как сделать резервную копию моего Raspberry Pi?

2. Используйте скрипт на http://sirlagz.net/2013/03/10/script-automatic-rpi-image-downsizer/, чтобы уменьшить изображение

3. Восстановите уменьшенное изображение на новой карте меньшего размера

Я уже давно rsyncкопирую файловые системы с одного диска на другой, без сбоев. Преимущество использования rsync заключается в том, что он копирует содержимое файловой системы, а не копирует устройство на уровне блоков; в результате, на самом деле все равно, какой размер имеют целевой и исходный диски, если на целевом диске достаточно места для хранения данных.

Вот как я бы это сделал:

1. Создайте новую raspbian инсталляцию на желаемой новой карте SD меньшего размера.
2. Загрузитесь в новую установку и разверните файловую систему, чтобы заполнить весь диск. Отключи пи.
3. Теперь смонтируйте новую и старую карты и используйте rsync -avx oldFilesystem newFilesystemдля копирования / перезаписи файловой системы на новой карте с файловой системой от старой карты.
4. Наконец, загрузитесь в вашу новую систему и запустите, rpi-updateчтобы убедиться, что ваша прошивка соответствует и обновлена.

После этого на вашей новой карте должна быть установлена ​​полностью функциональная система Raspbian.

Я создал сценарий оболочки для резервного копирования и восстановления всех данных на SD-карте. Сначала он удаляет некоторые данные (соответствующие моему проекту) и сжимает раздел до минимального размера, чтобы изображение было таким же большим, как данные на SD-карте. В дополнение, скрипт создает * .zip файл изображения. После восстановления созданного изображения на другую SD-карту раздел будет увеличен до максимального размера. Скрипт использует команды, упомянутые в других ответах. Поскольку это мой скрипт оболочки первого размера с таким размером, мне понадобилось несколько часов, чтобы создать его, и это не идеальный самолет. Особенно я не знаю, как обрабатывать возвращаемые значения resize2fs и fdisk, поэтому пользователь должен ввести нужные мне значения. Есть какие-нибудь идеи, чтобы это исправить? Я надеюсь, что этот скрипт поможет кому-то еще. Не стесняйтесь редактировать и улучшать его.

"Usage:
    <skriptname> -b <path>                  create backup of SC Card (dev/mmcblk0) to file <path>/JJJJ-MM-DD_HHMM.img
    <skriptname> -r <path>/FILENAME.img     restore an exitsting image (<path>/FILENAME.img) to the SD Card (dev/mmcblk0) 
    <skriptname> -r <path>/FILENAME.zip     unzip and restore an exitsting image (<path>/FILENAME.zip) to the SD Card (dev/mmcblk0)
    <skriptname> -h                         show this hlep

вот:

#!/bin/bash 

# check if the user is root
if (( $EUID != 0 )); then
  echo "This script requires root privileges please run as root"
  exit
fi


while getopts ":b:r:h" opt; do
  case $opt in
    b)
      mode="backup"
      OUTPATH=$OPTARG
      ;;
    r)
      mode="restore"
      DIRFILENAME=$OPTARG
      ;;
    h)
      mode="help"
      ;;
    \?)
      echo "Invalid option: -$OPTARG. Use -h for help" >&2
      exit 1
      ;;
    :)
      echo "Option -$OPTARG requires an argument. Use -h for help" >&2
      exit 1
      ;;
  esac
done
# no option
if [ $OPTIND == 1 ]
then
  echo "$(basename "$0") needs an option! Use -h for help"
  exit 1
fi


myMount(){
  # create mountpoint if not existing
  if [ ! -d /tmp/sd2/ ] ; then
    mkdir /tmp/sd2
  fi

  # mount partition
  mount -v -t ext4 /dev/mmcblk0p2 /tmp/sd2
  err=$?
  if [ $err != 0 ]; then
    echo "mount failed error: $err"
    exit 1
  fi
}

myUmount(){
  cd /home/ # otherwise umount will fail
  # fuser -vm /tmp/sd2/

  # umount partition
  umount -v /tmp/sd2
  err=$?
  if [ $err != 0 ]; then
    echo "umount failed error: $err"
    exit 1
  fi
}

myEnlarge(){
  echo "enlarge partition..."
  # enlarge partition is not posible with fdisk -> delete and recreate it
  (
  echo d # delete partition
  echo 2 # patition number
  echo n # add a new partition
  echo p # primary partition
  echo 2 # partition number
  echo   # first sector (accept default: varies)
  echo   # last sector (accept default: varies)
  echo w # write changes
  ) | fdisk /dev/mmcblk0

  echo "\n check filesystem... "
  e2fsck -f -v -C 0 /dev/mmcblk0p2

  # enlarge filesystem to maxsize
  resize2fs -p /dev/mmcblk0p2
}

case "$mode" in
"help")
  echo "Usage:
    $(basename "$0") -b <path>                  create backup of SC Card (dev/mmcblk0) to file <path>/JJJJ-MM-DD_HHMM.img
    $(basename "$0") -r <path>/FILENAME.img     restore an exitsting image (<path>/FILENAME.img) to the SD Card (dev/mmcblk0) 
    $(basename "$0") -r <path>/FILENAME.zip     unzip and restore an exitsting image (<path>/FILENAME.zip) to the SD Card (dev/mmcblk0)
    $(basename "$0") -h                         show this hlep
--------------------------------
Adrian Zeitler, Germany 2017"
  ;;
"backup")  ####################################### backup ####################################### 
  echo "an image of the SD Card (/dev/mmcblk0) whitch is as smal as possible will be created to $OUTPATH."
  # ------------------  delete some data --------------------

  echo "Do you want to delete tempfiles? [y/n]" 
  read delfiles

  if [ "$delfiles" = "y" ]
    then
      echo "Delete tempfiles..."

      myMount

      # remove some data
      cd /tmp/sd2/home/alarm/
      rm -v -f hagelbeere.db
      rm -v -f HAILcam.log
      rm -v -f HAILcam.log.1
      rm -v -f test.jpg

      myUmount

    elif [ "$delfiles" = "n" ]
      then
    echo "I don't delete anything."
    else
    echo "Sorry, I didn't understand."
    exit 1
  fi


  # --------------------------------------------------------------
  # shrink partition 2 to minimum size

  echo "check file system... "
  e2fsck -f -v -C 0 /dev/mmcblk0p2
  err=$?
  if [ $err != 0 ]; then
    echo "file system check failed, error: $err"
    exit 1
  fi

  echo "shrink filesystem of partition 2 to minimum size..."
  resize2fs -p -M /dev/mmcblk0p2
  err=$?
  if [ $err != 0 ]; then
    echo "resize2fs failed, error: $err"
    exit 1
  fi
  # --> Das Dateisystem auf /dev/mmcblk0p2 ist nun 692365 Blöcke groß.

  echo "Please tell me the new filesystem size displayed above:"
  read size
  # from resize2fs blocksize, fdisk wants sector: sector = block * 8
  size=$(( $size*8 ))

  # shrink partition is not posible with fdisk -> delete and recreate it
  (
  echo d # delete partition
  echo 2 # patition number
  echo n # add a new partition
  echo p # primary partition
  echo 2 # partition number
  echo   # first sector (accept default: varies)
  echo +$size  # last sector
  echo w # write changes
  ) | fdisk /dev/mmcblk0
  err=$?
  if [ $err != 0 ]; then
    echo "fdisk failed, error: $err"
    exit 1
  fi


  # --------------------------------------------------------------

  # fill unused space with zeros
  echo "Do you want to fill unused space with zeros? [y/n]" 
  read fillzeros


  if [ "$fillzeros" = "y" ]
    then
      echo "Copy zeros. This will end up with an error. But this is ok."

      myMount    

      dd if=/dev/zero | pv | dd of=/tmp/sd2/nullen.datei conv=noerror,notrunc,sync bs=10240
      # exits with error -> this is normal

      # dlelete zeros
      rm -v -f /tmp/sd2/nullen.datei
      sync

      myUmount

    elif [ "$fillzeros" = "n" ]
      then
    echo "I don't delete anything."
    else
    echo "Sorry, I didn't understand."
    exit 1
  fi

  # --------------------------------------------------------------

  # find out end of partition
  fdisk -l /dev/mmcblk0
  echo "Please tell me the end of mmcblk0p2 displayed above."
  read count



  DATE=$(date +"%Y-%m-%d_%H%M")
  IMGFILENAME=$DATE.img 
  echo "Do you want to create image with filename $OUTPATH$IMGFILENAME? [y/n]"
  read answer
  if [ "$answer" = "y" ]
  then
    echo "Do you want to create a *.zip file of the created image? [y/n]"
    read zip
    echo "Do you want to enlarge partition 2 to maxsize after image creation? [y/n]"
    read enlarge

    echo "create image..."
    cd $OUTPATH
    # create image with dd, stop at and of partition
    # count=N   copy only N input blocks
    # bs=BYTES  read and write up to BYTES bytes at a time = block size
    # pv    show status
    dd if=/dev/mmcblk0 | pv -s $(( $count*512 )) | dd of=$IMGFILENAME bs=512 count=$count
    err=$?
    if [ $err != 0 ]; then
      echo "dd failed error: $err"
      exit 1
    fi

    # --------------------------------------------------------------
    # create zip file
    # or like this:
    # sudo dd if=/dev/sdX | pv |gzip > /pfad/zur/datei.img.gz
    if [ "$zip" = "y" ]
    then
      echo "create zip file..."
      zip $DATE.zip $IMGFILENAME
    fi
    # --------------------------------------------------------------
  fi

  # --------------------------------------------------------------
  # enlarge partition 2

  if [ "$enlarge" = "y" ]
  then
    myEnlarge
  fi

  ;; #end case mode backup
"restore")  ####################################### restore ####################################### 
  #chek if image exists
  if [[ -s "$DIRFILENAME" ]]
  then
    # check if file is an image or zip file
    if [[ $DIRFILENAME =~ \.img$ ]]
    then
      IMGFILENAME=$(basename "$DIRFILENAME")
    elif [[ $DIRFILENAME =~ \.zip$ ]]
    then
      ZIPFILENAME=$(basename "$DIRFILENAME")
    else
      echo "Not the right file format. I accept *.img and *.zip"
      exit 1
    fi
  else
    echo "Image file does not exist."
    exit 1
  fi
  echo "the file $DIRFILENAME will be restored to the SD Card /dev/mmcblk0"

  #change to the path of the imagefile
  SOURCEPATH=$(dirname "$DIRFILENAME")
  cd $SOURCEPATH


  if [ "$ZIPFILENAME" != "" ]
  then
    echo "unzip file"
    # change file extention form zip zu img
    l=$(( ${#ZIPFILENAME}-3 ))
    IMGFILENAME="${ZIPFILENAME:0:l}img"
    unzip $ZIPFILENAME
  fi

  echo "Do you realy want to restore $SOURCEPATH/$IMGFILENAME to the SD card /dev/mmcblk0? 
  Warning: all data on the device /dev/mmcblk0 will be lost! [y/n]"
  read answer
  if [ "$answer" = "y" ]
  then
    echo "Do you want to enlarge partition 2 to maxsize after restoring? [y/n]"
    read enlarge
    echo "restore image..."
    filesize=$(wc -c <"$IMGFILENAME")
    echo "Filesize = $filesize Byte"
    dd if=$IMGFILENAME | pv -s $filesize | dd of=/dev/mmcblk0 bs=512
    err=$?
    if [ $err != 0 ]; then
      echo "dd failed error: $err"
      exit 1
    fi
  fi

  # --------------------------------------------------------------
  # enlarge partition 2
  if [ "$enlarge" = "y" ]
  then
    myEnlarge
  fi

  ;; #end case mode restore
esac

Самым простым решением, которое я нашел, было сделать резервную копию исходной карты большего размера, используя команды dd, описанные выше, а затем восстановить образ на карту меньшего размера, используя что-то вроде piwriter. ДД может работать так же ... не уверен. PiWriter вернул ошибку, так как ему не хватило места, но поскольку изображение не содержало реальных данных, превышающих размер карты меньшего размера, оно просто обрезало пустые сектора. Я не уверен, что это может означать ... раздел может нуждаться в проверке или ремонте, но я могу убедиться, что он работает, когда я помещаю его в Pi.

Я использую старую версию win32diskimager-RELEASE-0.1-r15-win32для чтения изображения, оно создает изображение 4 ГБ даже с SD-карты 8 ГБ, а затем записывает изображение с последней версией win32diskimager.

Я использую старую версию, потому что старая пропустит каждую ошибку.