Оптимальный способ создания резервных копий MySQL для довольно больших баз данных (MyISAM / InnoDB)

8

В настоящее время у нас есть одна мощная база данных MySQL, на которой работают несколько сайтов с большим трафиком на Django, а также несколько сайтов электронной коммерции приличного размера. В результате мы имеем достаточно большое количество больших баз данных, использующих таблицы InnoDB и MyISAM.

К сожалению, мы недавно попали в стену из-за объема трафика, поэтому я настроил другой главный сервер, чтобы облегчить чтение / резервное копирование.

Сейчас я просто использую mysqldump с несколькими аргументами, и это хорошо ... до сих пор. Очевидно, что mysqldump - медленный и быстрый метод, однако я считаю, что мы переросли его использование. Теперь мне нужна хорошая альтернатива, и я изучал возможность использования утилиты Maatkits mk -rallel -dump или решения для создания снимков LVM.

Краткая короткая версия:

У меня довольно большие базы данных MySQL, мне нужно сделать резервную копию
Текущий метод, использующий mysqldump, неэффективен и медленен (вызывает проблемы)
Рассматривая что-то вроде снимков mk -rallel-dump или LVM

Буду признателен за любые рекомендации или идеи - так как я должен заново делать то, что мы делаем, я скорее делаю это правильно / наиболее эффективно :).

mysql backup database-backup

— WinkyWolly
источник

5

Я имел хороший успех с репликацией MySQL и ночными архивами. Для меньшей базы данных, базы данных mysql и схемы я использую комбинацию скриптов, разработанных для использования mysqlhotcopy и mysqldump.

Горячее резервное копирование InnoDB - отличный коммерческий продукт, но я не уверен, как он обрабатывает смешанные таблицы в одной базе данных. Рекомендация pQd для XtraBackup может быть хорошей для сравнения с этим.

Другие любят снимки LVM, и я бы сказал, что это определенно нужно учитывать. В конечном счете, комбинация решений, вероятно, будет лучшей.

Также примечательно, что это старая тема. Между книгой по высокопроизводительной MySQL , руководством по MySQL и предыдущими вопросами по ServerFault - это исчерпано в общих чертах. Видеть:

— сигнализатор
источник

+1; с myisam вы никогда не узнаете, есть ли у вас логически согласованное резервное копирование [взято lvm / mysqldump / from lave] или нет. возможно, если ваше приложение меняется только в рабочее время - вы можете безопасно сбросить его ночью, иначе - вы никогда не уверены и никакой метод не поможет.

— PQD

Я думаю, что вы правы в смешивании решений. Как упомянуто в ответе pQd, я, вероятно, сделаю снимки LVM и посмотрю на утилиту xtrabackup (говорит, что она может обрабатывать смешанные таблицы). Я посмотрел в горячую резервную копию InnoDB, однако я всегда один для проектов с открытым исходным кодом. Спасибо за ссылки, я посмотрел 2 из них, но ответы довольно общие / не решают проблемы, которые у меня есть / они имеют в виду не "обычные" и "обычные" базы данных.

— WinkyWolly

4

xtrabackup - хотя бы для innodb.

— PQD
источник

Интересно, однако, что я хотел бы более изящное решение, чтобы не беспокоиться о моем смешении таблиц InnoDB / MyISAM.

— WinkyWolly

xtrabackup поставляется со сценарием, который также может помочь вам делать резервные копии myisams, но посмотрите мой комментарий под постом Уорнера

— pQd

Спасибо, похоже, я мог бы пойти в этом направлении и смешать снимки LVM для хорошей меры. Он заявляет, что может «обрабатывать» таблицы MyISAM также через скрипт «innobackupex». Я полагаю, что я поверну это и посмотрю, что именно происходит.

— WinkyWolly

3

Наиболее распространенным способом решения этой проблемы является настройка другого сервера MySQL, который может даже находиться на той же машине, и запуск репликации master / slave. Затем вы можете выполнить резервное копирование на ведомом устройстве, с нулевым воздействием на ведущее устройство.

— Джон Гарденье
источник

0

На EC2 EBS я сейчас использую xfs_freeze. Я рассматриваю возможность переключения на xtrabackup в какой-то момент, но когда я дал ему первый тестовый запуск, он был очень и очень жадным к процессору.

— user5336
источник

К сожалению, сейчас я использую XFS только на медиа-серверах, так что это не вариант. Какой опыт (кроме загрузки процессора, может быть, более подробно?) У вас был с xtrabackup? Вы резервировали чистые таблицы InnoDB или их комбинацию?

— WinkyWolly

Мое самое большое сомнение заключалось в том, что он жевал процессор в течение 30 минут после завершения (резервное копирование базы данных объемом около 35 ГБ), делая сервер БД лишь незначительно работоспособным - определенно не то, что я мог бы запустить на рабочем мастере. , Я фактически уже преобразовал мои оставшиеся несколько таблиц MyISAM в InnoDB частично для целей этого. Я думаю, что, вероятно, было бы нормально работать на слейве, если это не приводит к существенному отставанию репликации.

— user5336

0

Если вы выполняете репликацию базы данных, которая совместно используется приложениями, возникает очевидный вопрос: можно ли повысить производительность многих вещей, в том числе резервных копий, путем выделения серверов баз данных для приложений. Общий доступ это хорошо, пока это не так.

— Джастин Алан Райан
источник

0

Если вы храните свои таблицы MyISAM только по унаследованным причинам (вы не потрудились изменить их), вот что я использую, чтобы легко это исправить:

    mysql -u root --password=<password> --database=db_name -B -N -e "SHOW TABLES" | awk '!/not_this_db/ && !/or_this_one/ && /^[a-z]/ {print "ALTER TABLE", $1, "ENGINE=INNODB;"}' | mysql -u root --password=<password> --database=db_name

Вы можете исключить и включить базы данных с регулярным выражением awk, например, только dbs, начинающиеся со строчной буквы в моем примере выше. Это, конечно, заблокирует таблицы во время изменения.

Затем с помощью xtrabackup скопируйте всю базу данных прямо на другой сервер, не блокируя таблицы или не используя слишком много дискового ввода-вывода (после настройки ключей ssh rsa):

innobackupex --throttle=500 --compress --stream=xbstream /doesntneedtoexist | ssh user@otherhost "xbstream -x -C /root/backup/"

и затем вы можете полностью выполнить этап применения журнала и сохранить дисковое пространство, ввод-вывод и ЦП на рабочем сервере.

Percona Howto для использования xtrabackup

— штифтик
источник