Ускорение конвертации MyISAM в InnoDB

У меня есть сервер MySQL 5.1 с базой данных приблизительно 450 таблиц, занимающий 4 ГБ. Подавляющее большинство этих таблиц (все, кроме 2) являются MyIsam. По большей части это нормально (транзакции не нужны), но приложение набирает трафик, и на некоторые таблицы влияют блокировки таблиц при обновлении. Вот почему 2 таблицы сейчас являются InnoDB.

Преобразование в таблицы меньшего размера (100 тыс. Строк) совсем не занимает много времени, вызывая минимальное время простоя. Однако некоторые из моих таблиц отслеживания приближаются к 50 миллионам строк. Есть ли способ ускорить ALTER TABLE...ENGINE InnoDBна больших столах? А если нет, то есть ли другие способы преобразования, минимизирующие время простоя в этих таблицах с интенсивной записью?

mysql-5 storage-engine

— Дерек Дауни
источник

Что нужно иметь в виду: несколько вопросов в одном посте, как правило, отговаривают людей, которые могут ответить на один из вопросов, опубликовать ответ.

— BenV

Я VtC, так как это довольно сложно ответить. Вам следует открыть несколько вопросов по отдельности.

— Jcolebrand

Я с удовольствием приму совет, чтобы превратить его в один вопрос, но рекомендуется ли удалять этот вопрос и просто открывать новый? при переписывании в основном удаляются вторые 2 маркера и меняются первые (я также обновил заголовок, чтобы отразить, какие механизмы хранения данных)

— Дерек Дауни,

Либо было бы хорошо. Обычно проще написать два других вопроса и удалить один. Тем не менее, вы могли бы так же легко оставить этот вопрос «для справки» и попросить двух других вернуться к нему, как к вопросу «это моя общая цель».

— Jcolebrand

отредактируйте это в одну пулю, затем опубликуйте последующие вопросы.

— Брайан Баллсун-Стэнтон

Ответы:

Позвольте мне начать с того, что я ненавижу ALTER. Это зло, ИМХО.

Скажем, это ваша текущая схема таблицы -

CREATE TABLE my_table_of_love (
id INT UNSIGNED NOT NULL AUTO_INCREMENT,
my_value VARCHAR(40),
date_created DATE,
PRIMARY KEY(id)
) ENGINE=MyISAM CHARSET=utf8;

Вот путь, который я рекомендую -

Создайте новый объект таблицы, который заменит старый:

CREATE TABLE my_table_of_love_NEW (
id INT UNSIGNED NOT NULL AUTO_INCREMENT,
my_value VARCHAR(40),
date_created DATE,
PRIMARY KEY(id)
) ENGINE=InnoDB CHARSET=utf8

Вставьте все строки из старой таблицы по имени в новую таблицу:

INSERT INTO my_table_of_love_NEW (id,my_value,date_created)
SELECT id,my_value,date_created FROM my_table_of_love;

Дым проверяет вашу миграцию:

SELECT COUNT(*) FROM my_table_of_love_NEW;
SELECT COUNT(*) FROM my_table_of_love;
SELECT a.id,a.my_value,a.date_created FROM my_table_of_love_NEW a
LEFT JOIN my_table_of_love b ON (b.id = a.id)
WHERE a.my_value != b.my_value;

Поменяйте местами имена таблиц, чтобы вы могли сохранять резервные копии на случай, если потребуется откат.

RENAME TABLE my_table_of_love TO my_table_of_love_OLD;
RENAME TABLE my_table_of_love_NEW TO my_table_of_love;

Перейдите к регрессионному тестированию.

Такой подход становится все более предпочтительным с таблицами с несколькими индексами и миллионами строк.

Мысли?

— randomx
источник

Согласен ... хотя, если это сильно транзакционно, вам может понадобиться отключить базу данных при этом. (но, скорее всего, изменение таблицы приведет к более длительному времени простоя)

— Джо

Да, я подумал, что для более активных таблиц потребуется простои. Мне нужно будет выполнить несколько тестов, но почему это ALTER TABLEзаймет больше времени, чем INSERT INTO...SELECTна 50 миллионов строк?

— Дерек Дауни

Не будет По сути, MySQL внутренне работает именно так, как предложил этот постер. Это создает копию определения и ручеек загружается в копию.

— Морган Токер

Мне нравится этот метод, потому что он пропускает часть «copy to tmp», которая может занять некоторое время для больших таблиц.

— Haluk

Позвольте мне теперь добавить, что в MySQL 5.7 ALTER намного быстрее и легче справляются.

— randomx

1) Защита от потери является функцией паранойи. Всегда делайте резервную копию. Если вы действительно параноик, сделайте резервную копию, а затем восстановите ее.

2) На этой странице руководства MySQL есть инструкции по преобразованию типов таблиц.

Самый быстрый способ изменить таблицу на InnoDB - сделать вставки непосредственно в таблицу InnoDB. То есть используйте ALTER TABLE ... ENGINE = INNODB или создайте пустую таблицу InnoDB с идентичными определениями и вставьте строки с помощью INSERT INTO ... SELECT * FROM ....

3) PostgreSQL выполняет полнотекстовый поиск , движок Sphinx, кажется, делает это для MySQL

— Брайан Баллсун-Стэнтон
источник

я определенно посмотрю на сфинкса, поскольку я только недавно услышал об этом.

— Дерек Дауни

Оптимизировать весь сервер (конфигурация памяти, кэши, индексы) в X раз проще, когда используется только один движок. Смешивание myisam с innodb в больших базах данных всегда застревает в какой-то момент, когда компромисс заставляет оба двигателя работать хорошо (но не отлично) :)

Я рекомендую Вам заинтересоваться некоторыми специализированными полнотекстовыми поисковыми системами, такими как sphinx , lucene ( solr ) и избавиться от них на уровне базы данных.

— sbczk
источник