Как разделить существующую таблицу в postgres?

Я хотел бы разбить таблицу с 1M + строк по диапазону дат. Как это обычно делается, не требуя большого времени простоя или риска потери данных? Вот стратегии, которые я рассматриваю, но открыты для предложений:

1. Существующая таблица является главной, а потомки наследуются от нее. Со временем данные перемещаются из основной в дочернюю, но будет период, когда некоторые данные будут в основной таблице, а некоторые - в дочерних.

2. Создайте новый мастер и дочерние таблицы. Создайте копию данных в существующей таблице в дочерних таблицах (чтобы данные находились в двух местах). Как только у дочерних таблиц появятся самые последние данные, измените все вставки, чтобы они указывали на новую основную таблицу, и удалите существующую таблицу.

Поскольку # 1 требует копирования данных с мастера на дочерний объект, пока он находится в активной производственной среде, я лично пошел с # 2 (создание нового мастера). Это предотвращает сбои в работе исходной таблицы, когда она активно используется, и если есть какие-либо проблемы, я могу легко удалить новый мастер без проблем и продолжить использовать исходную таблицу. Вот шаги, чтобы сделать это:

1. Создать новую мастер-таблицу.

   CREATE TABLE new_master (
       id          serial,
       counter     integer,
       dt_created  DATE DEFAULT CURRENT_DATE NOT NULL
   );

2. Создайте детей, которые наследуют от мастера.

   CREATE TABLE child_2014 (
       CONSTRAINT pk_2014 PRIMARY KEY (id),
       CONSTRAINT ck_2014 CHECK ( dt_created < DATE '2015-01-01' )
   ) INHERITS (new_master);
   CREATE INDEX idx_2014 ON child_2014 (dt_created);
   
   CREATE TABLE child_2015 (
       CONSTRAINT pk_2015 PRIMARY KEY (id),
       CONSTRAINT ck_2015 CHECK ( dt_created >= DATE '2015-01-01' AND dt_created < DATE '2016-01-01' )
   ) INHERITS (new_master);
   CREATE INDEX idx_2015 ON child_2015 (dt_created);
   
   ...

3. Скопируйте все исторические данные в новую основную таблицу

   INSERT INTO child_2014 (id,counter,dt_created)
   SELECT id,counter,dt_created
   from old_master
   where dt_created < '01/01/2015'::date;

4. Временно приостановить новые вставки / обновления производственной базы данных

5. Скопируйте самые последние данные в новую главную таблицу

   INSERT INTO child_2015 (id,counter,dt_created)
   SELECT id,counter,dt_created
   from old_master
   where dt_created >= '01/01/2015'::date AND dt_created < '01/01/2016'::date;

6. Переименуйте таблицы, чтобы new_master стал производственной базой данных.

   ALTER TABLE old_master RENAME TO old_master_backup;
   ALTER TABLE new_master RENAME TO old_master;

7. Добавьте функцию для операторов INSERT в old_master, чтобы данные передавались в правильный раздел.

   CREATE OR REPLACE FUNCTION fn_insert() RETURNS TRIGGER AS $$
   BEGIN
       IF ( NEW.dt_created >= DATE '2015-01-01' AND
            NEW.dt_created < DATE '2016-01-01' ) THEN
           INSERT INTO child_2015 VALUES (NEW.*);
       ELSIF ( NEW.dt_created < DATE '2015-01-01' ) THEN
           INSERT INTO child_2014 VALUES (NEW.*);
       ELSE
           RAISE EXCEPTION 'Date out of range';
       END IF;
       RETURN NULL;
   END;
   $$
   LANGUAGE plpgsql;

8. Добавьте триггер, чтобы функция вызывалась на INSERTS

   CREATE TRIGGER tr_insert BEFORE INSERT ON old_master
   FOR EACH ROW EXECUTE PROCEDURE fn_insert();

9. Установите ограничение исключения на ON

   SET constraint_exclusion = on;

10. Повторно включите ОБНОВЛЕНИЯ и ВСТАВКИ в производственной базе данных.

11. Настройте триггер или cron, чтобы создавались новые разделы и обновлялась функция для назначения новых данных правильному разделу. Ссылка на эту статью для примеров кода

12. Удалить old_master_backup

Существует новый инструмент под названием pg_pathman ( https://github.com/postgrespro/pg_pathman ), который сделает это автоматически.

Так что-то вроде следующего сделало бы это.

SELECT create_range_partitions('master', 'dt_created', 
   '2015-01-01'::date, '1 day'::interval);