Как сделать копию диска linux

Копирование разделов жёсткого диска средствами GNU/Linux: как обойтись загрузочной флешкой там, где раньше нужен был Акронис

С тех пор как до меня дошла благая весть о существовании операционной системы под названием GNU/Linux, которую используют все настоящие программисты, я несколько раз пытался заменить ей детище Билла Гейтса и несколько раз потерпел неудачу.

Гуру поблизости отсутствовали, доступ к интернету был жёстко ограничен и потому любая нетривиальная задача становилась в те времена совершенно нерешаемой.

Потом, когда появился безлимитный интернет, вследствие чего с получением софта и знаний стало существенно легче, я настроил себе дуал бут и стал осваивать Убунту.

Основные сложности в процессе переезда создались в первую очередь из за необходимости бросить знакомые практически с самого детства программки, которые попросту отсутствуют в операционной системе для настоящих программистов.

В большинстве случаев это было не фатально. Вместо привычного foobar всегда можно послушать музыку на Rhythmbox. Вместо Microsoft Office есть OpenOffice. Да, его совместимость с продуктом корпорации зла порой оставляет желать лучшего, но им вполне можно пользоваться для решения повседневных задач среднестатистического пользователя. Обо всяких Файрфоксах, Операх и Хромах я вообще молчу.

Но в некоторых случаях приходилось перезагружать компьютер, выбирать в меню загрузчика пункт Microsoft Windows и делать всё по старинке. Такой задачей было например снятие образа логического диска в целях переноса на другой физический носитель, потому как текущий уже изрядно поистрепался.

Программой, которая использовалась в таких ситуациях, был Acronis. Интуиция подсказывала, что на выяснение того, как обойтись без него, уйдёт не меньше недели, а результат обычно был нужен край через полчаса, поэтому выяснение откладывалось, откладывалось и откладывалось.

Но после очередной дружеской шутки про никому не нужный и ничего не умеющий, а потому бесплатный Линукс, я решил, что в следующий раз для создания образа диска мне не понадобится ничего, кроме загрузочной флешки и командной строки. И отправился гуглить.

Гугл создавал чёткое впечатление, что как клонировать диски средствами опенсорсных ОС, знает каждая собака. Увы, чёткие инструкции по осуществлению общеизвестных и элементарных вещей найти как правило сложнее всего. Какие-то мануалы в результате упорных поисков в конце концов обнаружились, но всё равно с ними пришлось туговато, ибо их явно писали грамотные люди, которые возятся с темой не первый и даже не второй день, и просто не помнят, что знаниями, почитаемыми ими за необходимый минимум, владеют далеко не все.

Теперь, когда ужасы гугления позади, я понимаю, что всё действительно достаточно просто и хочу оформить результаты своих изысканий в виде краткого руководства по работе с образами дисков в GNU/Linux, обращённого в первую очередь к тем, кто привык к Акронису или другой подобной ему программе. Мне в свое время такой документ бы очень сильно помог, надеюсь, что он поможет и кому-то ещё.

Acronis

В Акронисе всё было просто и понятно: оконный интерфейс, подсказки и предшествующий опыт работы с образами компакт дисков делали процесс несложным. Снял образ, вставил новый винт, развернул образ на него — даже и рассказывать то не о чем. В случае с Линуксом процесс захлебнулся на этапе снятия образа — как это сделать было абсолютно неясно. Специальной программки с подсказками не нашлось, программки, которая добавляла в список устройств виртуальный DVD — наподобие Daemon Tools тоже. Да и сам список устройств оказался достаточно проблематичен, поэтому начать можно прямо с него.

Просмотр перечня накопителей

Просмотр перечня разделов на накопителе

Часто владелец может опознать диск просто по такому перечню (это когда дисков у него не 452), но если этого недостаточно, то можно воспользоваться программой hdparm.

Эту же информацию, но в рассеянном по разным файлам виде, можно найти в директории /sys/block/sda. Например модель диска находится в файле /dev/block/sda/device/model.

Если и этого недостаточно, то остается только по очереди монтировать устройства и смотреть что на них записано. Но это уже совсем другая история.

Снятие образа

Итак, устройство опознано и раздел, с которого нужно снять образ, найден. Теперь собственно процесс.

Общие рекомендации

Образом диска мы обычно называем копию диска на уровне разделов или всего устройства. И если пользователь Windows в ответ на вопрос, как эту копию сделать, обычно слышит рекомендацию воспользоваться специализированным софтом, то в Линуксе всё не так.

Как я уже говорил, здесь каждый диск и каждый раздел диска представлен конкретным файлом. И, так как образ представляет из себя файл с копией диска, логично предположить, что операция снятия образа и операция копирования файла раздела — это одно и то же.

Так оно и есть. Пусть нам надо снять образ раздела /dev/sda2 (на нём Windows 7 обычно держит диск С:) и сохранить его в файл с названием win_c.img.

Для этого достаточно написать cp /dev/sda2 win_c.img. Или cat /dev/sda2 >win_c.img. Короче можно воспользоваться любой программой или комбинацией программ, которая осуществляет копирование файлов.

Правильный способ

Как вы наверное уже догадываетесь, добиться желаемого можно не одним и даже не двумя, остроумными и не очень способами, но правильнее и проще всего на мой взгляд, использовать утилиту ddrescue. Что существенно важно — имеется в виду GNU ddrescue, а не давно уже устаревший оригинал.

Она, также как и cp, занимается копированием файлов, но в случае нахождения ошибок, ddrescue не прервёт работу с радостным сообщением о том, что пациент скорее мёртв, чем жив, а запомнит место с ошибкой, чтобы вернуться к нему позже и попробовать прочитать заново. Теперь уже медленно и нежно.

Используется ddrescue следующим образом:
ddrescue

ddrescue не способна принимать входные данные с конвейра, или передавать на конвейр результат работы, что впрочем неудивительно. Возможность пропускать места с ошибками при первой итерации и возвращение к ним в последующих циклах подразумевает наличие файлов на выходе и входе.

Команда, которая выполнит операцию, аналогичную описанной выше, будет выглядеть так:

ddrescue /dev/sda2 win_c.img win_c.img.log

Кстати, в данный момент я молчаливо подразумеваю, что жёсткий диск, с которого мы снимаем копию более-менее исправен и фокусов не выкидывает. Если с диском есть серьёзные проблемы, то лучше предварительно ознакомиться с подробностями использования ddrescue, например тут. и применить эти знания при снятии образа.

Неправильный способ

Часто можно встретить рекомендации использовать для копирования файла устройства или раздела программу под названием dd. Как правило, для снятия образа предлагается сделать что-то вот такое:

dd if=/dev/sda2 of=win_c.img

Не делайте так! Хотя семантически подход верен (произойдёт копирование одного файла в другой), последствия могут быть очень печальны. Да, dd превосходит cp в том отношении, что при обнаружении ошибки cp прекратит работу, а dd не прекратит, но если на диске есть битые или просто плохо читаемые сектора, то dd будет продолжать попытки считать их содержимое пока из винчестера не повалит дым.

Да, у dd есть аргумент noerror, но при его использовании копирование может быть выполнено с ошибками, попыток восстановления которых предпринято не будет. ddrescue в аналогичной ситуации после первого прохода вернётся к пропущенным местам и попробует прочитать их маленькими кусочками. И оставит лог файл, с помощью которого можно будет продолжать попытки вычитать сбойные места в будущем.

Короче, используйте ddrescue. А если кроме dd ничего нет, не забывайте про аргумент noerror.

Описанная выше процедура может применяться например для того, чтобы сохранить образ диска с только что установленной операционной системой для последующего восстановления. Да, настоящий линуксоид так поступать не станет, но среди пользователей операционной системы с другим названием это достаточно распространённая практика. И для периодического вдумчивого ремонта регулярно ломающегося компьютера какой нибудь симпатичной девушки её смело могут применять даже любители пингвинов. А если девушек больше некоторого, сугубо индивидуального для каждого самоделкина, количества, то данный метод просто незаменим. Главное не перепутать названия файлов с образами.

Просмотр содержимого образа раздела (логического диска)

Так как каждый раздел диска представлен файлом, можно предположить, что должен существовать штатный способ подключения файлов с образами к файловой системе. С определённой точки зрения так оно и есть. Конкретно для этого используется утилита mount, с помощью которой можно поместить дерево файлов, содержащееся в образе, в любую директорию на ваш выбор. Этот процесс называется монтированием.

Вот так можно убедиться, что образ, который вы собираетесь накатить на винчестер очередного розового ноутбука, является образом именного того диска C: который ожидается увидеть на данной конкретной машине. Ну, или можно просто скопировать с него файлы без которых никак нельзя обойтись и отправить этот образ во внешнюю тьму. А на ноутбук поставить последнюю Убунту или Федору.

But we can go deeper.

Просмотр содержимого образа физического диска

Файлы виртуальных устройств создаются заранее (на этапе загрузки системы) и имеют названия loop0, loop1, loop2 и так далее по нарастающей.

Связать образ раздела с одним из этих файлов можно командой losetup. Команда mount из предыдущего раздела на самом деле эквивалентна следующим двум командам.

losetup /dev/loop0 win_c.img
mount /dev/loop0 /mnt/win_c

Но вот для того, чтобы посмотреть содержимое образа в котором есть несколько разделов, этого недостаточно. Дело в том, что если выполнить команду losetup для такого файла, то с устройством /dev/loop0 будет связан весь образ целиком. То есть это устройство будет эквивалентом /dev/sda, а нам нужны эквиваленты /dev/sda1 и /dev/sda2.

Обладатели свежих версий программы losetup (читай гентушники и арчеводы) могут выполнить losetup c аргументом —partscan, что приведёт к автоматическому созданию в директории /dev файлов, соответствующих разделам образа. То есть /dev/loop0p1, /dev/loop0p2 и так далее до самого горизонта. И вот уже эти файлы можно отдавать команде mount.

Те же, кому не так повезло с дистрибутивом, могут воспользоваться программой kpartx, которая сделает то же самое, но положит файлы соотвествующие разделaм не в директорию /dev, а в директорию /dev/mapper, откуда их можно монтировать и просматривать.

But we can go even deeper than that…

Автоматическое создание файлов разделов при выполнении команды losetup

Вообще-то ядро (а конкретно модуль loop) уже достаточно давно умеет искать в файле образа таблицу разделов и создавать соответствующие файлы, но по умолчанию эта функция отключена.

Включается она если параметр модуля loop max_part не равен нулю. Задать этот параметр можно только при загрузке модуля, поэтому если система уже запущена, модуль надо выгрузить из памяти и загрузить снова с уже заданным параметром. Для этого нужно выполнить следующие две команды.

Однако в некоторых дистрибутивах (напривер в Убунте) модуль loop вкомпилирован в ядро намертво и поэтому для установки параметра придётся вписать loop.max_part=63 в командную строку ядра и перезагрузить систему.

Развёртывание образа на физический носитель

А теперь о том, как собственно накатить образ на другой диск. Как и раньше надо руководствоваться тем, что диски и разделы представлены в виде файлов. И если для снятия образа нужно было создать копию файла устройства или раздела, то для того, чтобы закатать этот образ обратно надо провести операцию копирования в обратную сторону. То есть вместо cp /dev/sda2 win_c.img написать cp win_c.img /dev/sda2. Ну и лучше помнить о советах, изложенных в руководстве по снятию образа. А именно пользоваться ddrescue и не пользоваться dd.

Сжатие образа раздела (логического диска)

Особенно приятной чертой Акрониса является способность не писать в файл образа куски диска или раздела, которые не содержат файлов. Это позволяет ужать образ до реального объёма данных в разделе или на диске.

Изложенный ранее подход имеет принципиальные ограничения, не позволяющие реализовать такую фичу — программы посекторного копирования ничего не знают про структуру файловых систем и даже более того — не знают, что это вообще такое — файловая система.

Однако выход из положения есть. Правда для его использования файловая система, на которой будет храниться образ, должна поддерживать такую специфическую штуку, как sparse файлы.

Sparse файлы

Sparse файл это файл, в котором куски, содержащие нули, на диск не пишутся. То есть, если половина файла заполнена данными, а другая половина нулями — на диск будет записана только половина этого файла и ещё дополнительная информация об областях файла, заполненных нулями. Если область с нулями непрерывна и начинается в середине, то реально на диске файл будет заменять половину от своего теоретического объёма.

Подготовка раздела или устройства к сжатию

Для того, чтобы воспользоваться этой возможностью в целях сжатия образа, нужно перед снятием записать в свободное место нули. Сделать это несложно — достаточно смонтировать файловую систему в директорию и создать в этой директории файл с бинарными нулями размер которого будет равен размеру свободного места на разделе.

Но выяснять количество свободного места и передавать его программе, создающей файл, к счастью не обязательно, да и искать программу, создающую файл с нулями, не понадобится. В директории /dev есть безразмерный файл zero, который, как нетрудно догадаться по названию, является неисчерпаемым источником бинарных нулей. Остаётся только скопировать его в нужное место.

Так как файл безразмерен, копирование будет продолжаться до тех пор, пока копия не заполнит всё доступное ей пространство, то есть все свободное место в разделе, что нам собственно и требовалось.

Про то, как копировать файлы стандартными средствами операцинной системы, здесь написано столько раз, что руководство вполне могло бы называться «Искусство копирования файлов в окружении GNU», но так как истина от повторения не тукснеет, я, пожалуй, напишу ещё раз.

Для создания файла с бинарными нулями можно выполнить команду cp /dev/zero zerofile или cat /dev/zero > zerofile.

Создание sparse файла образа устройства или раздела

Большинство утилит для работы с файлами знают о существовании sparse файлов и умеют их создавать. Упомянутой ранее ddrescue, для того, чтобы образ оказался sparse файлом нужно передать ключ —sparse. Теперь результирующий файл будет занимать столько места, сколько ему необходимо, и не больше.

Как быть в случае сжатия образа повреждённого диска

Как известно, многие диски и в руки то брать страшно, какой уж может быть разговор о записывании туда многогигабайтных файлов. Если вам в руки попался именно такой диск, следует сначала снять образ, а потом уже сделать из него sparse файл. Для этого нужно смонтировать полученный образ, потом заполнить свободное место нулями и сделать с образа копию, которая уже будет полноценным sparse файлом. Исходный образ после этого можно удалить.

Конечно, для проведения этих операций потребуется много свободного пространства, но так всё-таки значительно лучше, чем вообще никак.

Заключение

А теперь в сжатом виде о том, что можно почерпнуть из данного руководства.

Источник

Information Security Squad

stay tune stay secure

🙇♂️ Как клонировать раздел диска Linux по сети, используя dd

В этом уроке мы покажем вам, как клонировать раздел жесткого диска Linux по сети, в этом уроке мы будем использовать команду dd.

Для парней, которые не знают, что такое dd – это утилита командной строки для Unix и Unix-подобных операционных систем, основной целью которой является преобразование и копирование файлов.

Клонирование жесткого диска Linux имеет преимущества, потому что нам не нужно переустанавливать и заново настраивать приложения, особенно в Linux, которые мы использовали в качестве сервера.

Предпосылки

В этой статье предполагается, что у вас есть хотя бы базовые знания Linux, вы знаете, как использовать оболочку, учетную запись пользователя root или пользователя без полномочий root с привилегиями sudo, установленными на вашем сервере.

О других предпосылках:

Мы будем использовать следующее описание для нашего примера:

Источник

Место назначения

Предупреждение: убедитесь, что все команды, показанные ниже выполняются под операционной системой вашей восстановительной ОС.

1. Клонировать раздел диска, используя dd через SSH

Попробуем клонировать весь раздел диска Linux с помощью dd через ssh с сервера A на сервер B.

Предположим, вы используете пользователя root.

Выполните эту команду на сервере A (источник):

Если вы хотите клонировать только какой-то определенный раздел, просто выберите раздел, который вы хотите клонировать, как показано ниже, например, мы будем клонировать раздел /dev/sda3.

Запустите эту команду на сервере A (источник):

2. Клонировать раздел диска, используя dd через telnet со сжатием bzip

Клонирование с использованием telnet и bzip имеет преимущества, позволяющие сократить время клонирования, но убедитесь, что вы используете безопасную сеть.

Предположим, что сервер-B имеет IP-адрес 192.168.100.2.

Запустите эту команду на сервере B (пункт назначения):

Запустите эту команду на сервере A (источник):

Основываясь на этих 2 командах выше, мы подключимся к серверу-B через порт 19000.

Заключение

Вы можете выбрать оба способа, описанных выше.

Клонирование разделов диска по сети полезно, когда вам нужно выполнить миграцию из другого центра обработки данных с таким же местом на диске.

Источник

Information Security Squad

stay tune stay secure

Программное обеспечение для клонирования / резервного копирования с открытым исходным кодом для Linux

Бесплатные инструменты резервного копирования для клонирования Linux-диска

Clonezilla – это программа для создания образов и клонирования дисков, аналогичная программе True Image® или Norton Ghost®.

Она поможет вам выполнить развертывание системы, выполнить резервное копирование и восстановление без резервного копирования.

Доступны два типа Clonezilla: Clonezilla live и Clonezilla SE (серверная версия).

Clonezilla live подходит для резервного копирования и восстановления одной машины.

Хотя Clonezilla SE предназначен для массового развертывания, он может клонировать много (40 плюс!) компьютеров одновременно.

Clonezilla сохраняет и восстанавливает только использованные блоки на жестком диске.

Это увеличивает эффективность клона.

С некоторыми высококачественными аппаратными средствами в кластере с 42 узлами сообщалось о многоадресном восстановлении со скоростью 8 ГБ / мин.

Особенности:

Поддерживаются многие файловые системы: (1) ext2, ext3, ext4, reiserfs, reiser4, xfs, jfs, btrfs, f2fs и nilfs2 GNU / Linux, (2) FAT12, FAT16, FAT32, NTFS MS Windows, (3) HFS + Mac OS, (4) UFS FreeBSD, NetBSD и OpenBSD, (5) minix Minix и (6) VMFS3 и VMFS5 VMWare ESX.

Таким образом, вы можете клонировать GNU / Linux, MS-окна, Mac OS, Mac OS, FreeBSD, NetBSD, OpenBSD, Minix, VMWare ESX и Chrome OS / Chromium OS, независимо от того, что это 32-разрядная (x86) или 64-разрядная (x86- 64) ОС.

Для этих файловых систем только используемые блоки в разделе сохраняются и восстанавливаются с помощью Partclone.

Для неподдерживаемой файловой системы копирование сектора в сектор выполняется с помощью dd в Clonezilla.

* LVM2 (версия LVM 1 не поддерживается) под GNU / Linux поддерживается.

* Загрузчик, включая grub (версия 1 и версия 2) и syslinux, может быть переустановлен.

* Поддерживаются оба формата MBR и GPT на жестком диске. Clonezilla live также можно загружать на компьютере с BIOS или uEFI.

* Поддерживается автоматический режим. Почти все шаги можно выполнить с помощью команд и опций. Вы также можете использовать множество параметров загрузки, чтобы настроить собственную визуализацию и клонирование.

* Поддерживается одно восстановление образа на несколько локальных устройств.

* Образ может быть зашифрован. Это делается с помощью ecryptfs, совместимой с POSIX корпоративной криптографической сложной файловой системы.

* Multicast поддерживается в Clonezilla SE, который подходит для массивного клонирования. Вы также можете удаленно использовать его для сохранения или восстановления множества компьютеров, если PXE и ​​Wake-on-LAN поддерживаются в ваших клиентах.

* Файл образа может быть на локальном диске, сервере ssh, сервере samba, сервере NFS или сервере WebDAV.

* Шифрование AES-256 может использоваться для обеспечения доступа к данным, их хранения и передачи.

* На основе Partclone (по умолчанию), Partimage (необязательно), ntfsclone (необязательно) или dd для изображения или клонирования раздела. Однако Clonezilla, содержащий некоторые другие программы, может сохранять и восстанавливать не только разделы, но и целый диск.

* Используя другое бесплатное программное обеспечение drbl-winroll, которое также разработано производителями, имя хоста, группа и SID клонированной машины MS-окон могут быть автоматически изменены.
Вы можете скачать последнюю версию Clonezilla здесь:

Скачать CloneZilla

dd (data duplicator)

Dd-Mighty Disk Destroyer.

Многие админы боятся и даже сжимаются, когда буквы DD упоминаются вместе.

Но DD может быть вашим лучшим другом.

Поскольку вы являетесь профессионалом Linux или хотите стать профессионалом, вам иногда приходится сталкиваться с необходимостью клонирования, резервного копирования и восстановления образов на жестком диске «на лету».

Во-вторых, многие хотят создать резервные копии жестких дисков для будущего развертывания.

Наконец, иногда у вас есть неисправный жесткий диск, который необходимо перенести на хороший жесткий диск.

Команда dd должна использоваться с осторожностью. Эта команда настолько мощная и может стереть ваши данные, если вы используете ее неправильно.

Например: Чтобы клонировать диск 1 (/ dev / sdb) на диск 2 (/ dev / sda), используйте следующую команду:

Для получения дополнительной информации о DD вы можете использовать команду из вашего терминала:

Partclone

Partclone – это программа, аналогичная известной утилите резервного копирования «Partition Image» a.k.a partimage.

Partclone предоставляет утилиты для сохранения и восстановления используемых блоков в разделе и предназначен для более высокой совместимости файловой системы с использованием существующих библиотек, например. e2fslibs используется для чтения и записи раздела ext2.

Partclone теперь поддерживает ext2, ext3, ext4, hfs +, reiserfs, reiser4, btrfs, vmfs3, vmfs5, xfs, jfs, ufs, ntfs, fat (12/16/32), exfat, f2fs, nilfs. Доступные программы:

partclone.btrfs
partclone.ext2, partclone.ext3, partclone.ext4
partclone.fat32, partclone.fat12, partclone.fat16
partclone.ntfs
partclone.exfat
partclone.hfsp
partclone.jfs
partclone.reiserfs
partclone.reiser4
partclone.ufs (с SU + J)
partclone.vmfs (v3 и v5)
partclone.xfs
partclone.f2fs
partclone.nilfs2

Partclone поддерживает локальный и удаленный ssh-сервер для хранения резервной копии.

Команда создаст резервную копию раздела ext4 (/ dev / sda1) в файл образа data1.img.

Для восстановления из файла из образа используйте следующую команду:

Скачать Partclone

Mondo Rescue

Он поддерживает ваш сервер или рабочую станцию ​​GNU / Linux на ленточные, CD-R, CD-RW, DVD-R [W], DVD + R [W], NFS или раздел жесткого диска.

В случае катастрофической потери данных вы сможете восстановить все свои данные [или столько, сколько хотите], с нуля, если это необходимо.

Mondo используется Lockheed-Martin, Nortel Networks, Siemens, HP, IBM, JPL NASA, Департаментом сельского хозяйства США, десятками небольших компаний и десятками тысяч пользователей.

Mondo является всеобъемлющим.

Mondo поддерживает LVM 1/2, RAID, ext2, ext3, ext4, JFS, XFS, ReiserFS, VFAT и может легко поддерживать дополнительные файловые системы: просто отправьте по электронной почте список рассылки с вашим запросом.

Он поддерживает программный рейд, а также большинство аппаратных RAID-контроллеров.

Он поддерживает настройки в геометрии диска, включая переход из не-RAID в RAID.

Он поддерживает режимы загрузки BIOS и UEFI.

Mondo работает во всех основных дистрибутивах Linux (Fedora, RHEL, OpenSUSE, SLES, Mageia, Debian, Ubuntu, Gentoo) и все время становится все лучше.

Вы даже можете использовать его для резервного копирования не Linux-разделов, таких как NTFS.

Он был опубликован под лицензией GPL v2 (GNU Public License), частично, чтобы представить его тысячам потенциальных бета-тестеров, но в основном в качестве вклада в сообщество Linux.

doClone

DoClone – бесплатный проект, разработанный на C ++ для создания или восстановления образов систем GNU / Linux.

Он также может работать в локальной сети для передачи данных внутри компьютеров.

Этот инструмент обеспечивает простой способ управления установкой GNU / Linux в офисах или школах, включая машины с различным оборудованием, например разные размеры жесткого диска, используя только пространство, требуемое данными.

Особенности, как говорит сайт.

Скачать Doclone

Deepin Clone

Deepin Clone – это инструмент для резервного копирования и восстановления, разработанный Deepin Technology.

Он поддерживает клонирование, резервное копирование и восстановление диска или раздела.

И работает с Deepin Recovery, чтобы исправить загрузку, раздел и так далее.

Источник