Я должен вставить кучу записей ( 500 000 ) в базу данных, используя самый быстрый способ. Я попытался вставить 1700 записей одновременно, но это заняло двадцать минут !! Я использую SQL-SERVER, и C#.
Хотя следующая таблица не будет способствовать технике быстрой вставки, я все равно решу ее связать, чтобы вы лучше поняли количество полей, которые мне нужно вставить (дублируйте их примерно на 500 КБ ).
Ответы:
Есть несколько вариантов. Вот основные из них, которые приходят на ум.
SSIS - службы интеграции с SQL Server: это инструмент ETL для SQL Server, позволяющий перемещать данные практически из любого источника в практически любое место назначения, и это может быть довольно быстрым.
BCP - программа массового копирования: это инструмент командной строки, который поставляется с SQL Server. Это очень хорошо для перемещения текстовых файлов в SQL Server, или вы можете экспортировать в собственный формат из одного SQL Server и импортировать, используя тот же формат в другой SQL Server. BCP также очень быстрый, но более ограниченный, чем SSIS.
INSERT INTO tablename ВЫБРАТЬ список полей ИЗ других таблиц : Предполагается, что вы переходите от одной таблицы SQL к другой на том же сервере. Это самая быстрая, но при 500 тыс. Строк вы смотрите на довольно крупную транзакцию или вынуждены разбивать ее, как вы сказали.
OPENROWSET : это функция SQL Server, которая позволит вам извлекать данные в таблицу из различных форматов. Это также должно быть довольно быстро, но я не работал с этим много.
Общее примечание: ваш первичный ключ - mbr_id. Если это то, что хранится в ваших исходных данных (в отличие от столбца идентификаторов), ваша вставка будет работать НАМНОГО быстрее, если исходные данные будут в порядке mbr_id.
Так как вы используете. NET, вы можете передавать данные без вызова внешнего процесса. Вы бы использовали табличные параметры. Смотрите мой ответ на StackOverflow для деталей и ссылки на другой вариант этого метода:
Чтобы сделать это быстрее (особенно, если это начальная популяция таблицы), посмотрите также и на удаление индексов.