Удалить все данные в базе данных Postgres


14

Я создал свежий дб дамп от производственного сервера с --data-onlyи --column-insertsфлагами, так что я только кучу заявлений вставки для вставки данных при выполнении восстановления на промежуточном сервере.

pg_dump -h localhost -U adminuser --data-only --column-inserts maindb > maindb.sql

Как сначала удалить все данные в базе данных промежуточного сервера, прежде чем восстанавливать данные из рабочего дампа?

Я хочу удалить только все данные, чтобы мне не пришлось удалять и создавать базу данных и все такое. Я просто хочу удалить данные и вставить новые данные, вот и все.

У меня нет возможности удалить и создать базу данных по нескольким причинам. Мне придется удалить все данные и просто вставить только, поэтому, чтобы найти способ сделать это, я готов пойти на это, но для начала нужна помощь, очевидно.

Мне также нужно автоматизировать этот процесс. Автоматизирует «сброс данных из производственной базы данных», затем «удаление данных в промежуточной базе данных», а затем «восстановление данных в промежуточную базу данных». Мне просто нужна помощь в части «удаление данных при постановке БД».

Я работаю на PostgreSQL 9.5.2

Ответы:


24

Вам не нужно удалять базу данных, этого должно быть достаточно, чтобы удалить все объекты в базе данных. Это можно сделать с помощью

drop owned by adminuser

Если вы затем создать SQL дамп включая create tableзаявление (так без по --data-onlyвыбору) все должно быть хорошо.

Вы также можете удалить --column-insertsthen, что сделает импорт намного быстрее.


Однако, если вы хотите удалить все, вы можете сделать это с помощью небольшого динамического SQL:

do
$$
declare
  l_stmt text;
begin
  select 'truncate ' || string_agg(format('%I.%I', schemaname, tablename), ',')
    into l_stmt
  from pg_tables
  where schemaname in ('public');

  execute l_stmt;
end;
$$

Это обрезает все таблицы в схеме publicодним оператором, который также будет работать, даже если существует множество ограничений внешнего ключа, соединяющих все таблицы. Если ваши таблицы распределены по нескольким схемам, вам необходимо добавить их в whereусловие.


я вижу ... это делает то же самое, что и @ypercube, упомянутый выше, чтобы использовать эту команду TRUNCATE table1, table2, ... <list of all tables>;? они оба делают одно и то же?
Uberrebu

1
@babababa: да, мой ответ просто генерирует и выполняет этот оператор динамически, поэтому вам не нужно вводить все имена таблиц, и если вы добавите новую таблицу, она будет автоматически включена.
a_horse_with_no_name

хорошо, только что попробовал, и это работает, @ypercube тоже работает ... большое спасибо
uberrebu

6

У pg_restore есть флаг --clean (или, возможно, --create), который автоматически удалит данные перед выполнением операций.

Отличная документация должна вам очень помочь ...

Просто чтобы уточнить, на случай, если это сбивает с толку:

Очистите (отбросьте) объекты базы данных перед их воссозданием. (Если не используется --if-существующие, это может привести к появлению некоторых безобидных сообщений об ошибках, если какие-либо объекты не присутствуют в целевой базе данных.)

Это не удалит фактическую базу данных ... только таблицы / представления / и т. Д.

Если по какой-то причине удаление и воссоздание таблиц неприемлемо, вам придется приложить больше усилий, чтобы вручную создать сценарий, который создает data onlyдамп из исходной базы данных, проблем TRUNCATEили DELETEв целевой базе данных, а затем загружает дамп данных. Насколько я знаю, нет быстрого / гладкого способа сделать это.


Этот флаг --clean ТОЛЬКО удалит данные и сохранит структуры базы данных и таблиц такими же, но пустыми?
Uberrebu

Он создаст таблицу удаления перед созданием таблицы. Любые таблицы, которые существуют в файле дампа. Я надеюсь, что файл дампа содержит информацию для воссоздания таблицы в точности так, как она существовала ранее (включая FKeys и т. Д.). Но это действительно зависит от того, как вы создали файл дампа. Тем не менее, так как вы продолжаете упоминать «промежуточный этап», кажется, что то, что вы действительно ищете, - это способ заполнения промежуточных таблиц в хранилище данных данными из производственной базы данных. Если это ваша цель, дамп файл, вероятно, неправильный подход ..
Joishi Bodio

это не то, что я собираюсь сделать, я просто хочу удалить данные .. структура базы данных и таблиц останутся прежними и нетронутыми ... мой вопрос довольно ясен, что я хочу сделать, даже из заголовка
uberrebu

Тогда, извините, ваше решение будет намного сложнее.
Джоиши Бодио

3
SELECT 'TRUNCATE ' || input_table_name || ' CASCADE;' AS truncate_query FROM(SELECT table_schema || '.' || table_name AS input_table_name FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog', 'information_schema') AND table_schema NOT LIKE 'pg_toast%') AS information;  

Приведенный выше запрос будет генерировать усеченные запросы для всех таблиц в базе данных.


0

Примечание: мой ответ - действительно удалить таблицы и другие объекты базы данных; для удаления всех данных в таблицах, т. е. усечения всех таблиц , Endre Both предоставил аналогично хорошо выполненный оператор (непосредственное выполнение) месяцем позже.

Для тех случаев , когда вы можете не только DROP SCHEMA public CASCADE;, DROP OWNED BY current_user;или что - то, вот автономный SQL скрипт я написал, что сделка безопасным (т.е. вы можете поместить его между BEGIN;и или ROLLBACK;к просто проверить это или COMMIT;на самом деле делать дело) и очищает «все» объекты базы данных… ну, все те, которые используются в базе данных, которую использует наше приложение, или я мог бы разумно добавить, что:

  • триггеры на столах
  • Ограничения на столах (ФК, ПК, CHECK, UNIQUE)
  • индексы
  • VIEWs (нормальный или материализованный)
  • таблицы
  • последовательности
  • подпрограммы (агрегатные функции, функции, процедуры)
  • все схемы nōn-default (то есть не publicвнутренние или DB-внутренние), которыми владеем «мы»: сценарий полезен, когда выполняется как «не суперпользователь базы данных»; суперпользователь может отбросить все схемы (хотя действительно важные из них явно исключены)
  • расширения (добавленные пользователем, но я обычно намеренно оставляю их в)

Не исключены (некоторые преднамеренные; некоторые только потому, что у меня нет примера в нашей БД):

  • publicсхемы (например , для расширения предоставленного материала в них)
  • подборки и другие локали
  • триггеры событий
  • материал для поиска текста ... (см. здесь другие вещи, которые я мог пропустить)
  • роли или другие параметры безопасности
  • составные типы
  • тост столы
  • FDW и зарубежные таблицы

Это действительно полезно в тех случаях, когда дамп, который вы хотите восстановить, имеет версию схемы базы данных (например, с Debian dbconfig-common, Flyway или Liquibase / DB-Manul), отличную от базы данных, в которую вы хотите его восстановить.

У меня также есть версия, которая удаляет «все, кроме двух таблиц и того, что им принадлежит» (последовательность, проверенная вручную, извините, я знаю, скучно), если кто-то заинтересован; разница маленькая. Свяжитесь со мной или проверьте этот репо, если вы заинтересованы.

SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

Протестировано, за исключением более поздних дополнений ( extensionsпредоставленных Clément Prévost ), на PostgreSQL 9.6 ( jessie-backports). Удаление агрегатов проверено на 9.6 и 12.2, процедура удаления также проверена на 12.2. Исправления и дальнейшие улучшения приветствуются!


Отлично, вот мой код для расширений, он должен быть помещен перед функциями / процедурами: - расширения FOR r IN (SELECT pns.nspname, pe.extname FROM pg_extension pe, pg_namespace pns WHERE pns.oid = pe.extnamespace AND pns .nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')) Формат LOOP EXECUTE ('DROP EXTENSION% I;', r.extname); КОНЕЦ ЦИКЛА;
Клеман Прево

@ ClémentPrévost спасибо, я слил ваш комментарий в код (надеюсь, что я все сделал правильно, комментарии не отформатированы, пожалуйста, просмотрите). Обычно я намеренно оставляю расширения без намеренного удаления (мой вариант использования - восстановление из резервных копий с различными версиями схемы, и обычно у меня загружено ровно одно расширение PL / pgSQL). Это может быть полезно для некоторых, так что, спасибо!
Мирабилось

Отлично, спасибо :)
Clément Prévost
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.