Какой самый быстрый способ экспортировать таблицу в текстовый файл

У меня будет база данных SQL Server 2012 и таблица с 3 миллионами строк и, возможно, 50 столбцами. Каков будет самый быстрый способ для автоматического фонового процесса .net (может быть, с помощью какой-нибудь команды SQL или Powershell) экспортировать его в текстовый файл, по одной строке для каждой строки данных? Процесс .net должен знать, когда экспорт завершен или произошла какая-либо ошибка. Тип данных будет все intили nvarchar.

Я предполагаю, что чистый код C #, использующий ado.net для выполнения select *команды и циклический перебор данных для чтения данных и запись в файл для каждой записи, будет медленным, и я не могу распараллелить это.

В идеале экспорт должен осуществляться в удаленную общую сетевую папку, а не в локальную папку на компьютере с SQL Server. SQL Server будет кластером высокой доступности. Подходит ли для этого SSIS, преобразование данных не требуется?

Процесс .Net будет выполняться на компьютере A, SQL Server на компьютере B, а конечным пунктом назначения файла является сетевой ресурс. Одним из вариантов является то, что SQL-сервер записывает файл непосредственно в общий сетевой ресурс. Другой вариант - SQL Server выполняет запись на компьютер A, а затем, когда файл записывается, процесс .net копирует его в общий сетевой ресурс. У меня нет официального SLA, но я ожидаю 30 минут - 1 час для записи файла.

Цикл по всем этим статьям - вариант, если вы хотите стареть, наблюдая за его выполнением.

Некоторые различные варианты, которые вы должны попробовать:

• утилиты BCP ( как упоминалось выше, тоже, это инструмент командной строки для импорта и экспорта данных в / из SQL Server);
• Оператор BULK INSERT - сахар языка T-SQL для работы с импортом данных из скриптов;
• Класс SqlBulkCopy из .NET - если вы хотите работать из приложения. Хороший пример можно увидеть здесь: влияние производительности Линчи Ши: самый оптимальный сценарий вставки не может превзойти BulkCopy .

И вы можете попробовать все эти варианты во время цикла в другой сессии, просто для удовольствия :-).

Я бы просто использовал Мастер импорта экспорта. В конце вы получаете возможность сохранить задачу, которую затем можно запланировать с помощью агента SQL Server. Добавьте себя в качестве оператора и настройте DB Mail на сервере, и он может отправить вам электронное письмо, когда задание будет выполнено или не выполнено.

Серьезно, зачем изобретать велосипед?

http://msdn.microsoft.com/en-us/library/ms140052.aspx

Другие заявили, что bcp должен быть самым быстрым способом, но я не вижу никакого преимущества перед решением CLR. При вставках в таблицы базы данных различные реализации массовых копий будут всегда выигрывать. Это в первую очередь связано с тем, что они минимизируют ведение журналов и обеспечивают многопоточную запись. У вас нет этих ограничений при записи в плоский файл.

В моей работе мы используем CLR для вывода вывода запроса в файл. Мы также включили Ionic.Zip.dll, чтобы файл мог автоматически архивироваться после создания.

Вот пример, который оп заявляет, что он в два раза быстрее, чем bcp для больших двоичных объектов: /programming/10325338/fastest-way-to-export-blobs-from-table-into-individual-files

Вы можете создать простой пакет служб SSIS:

Вот высокий уровень, как:

1. Создайте соединение OLEDB с базой данных в диспетчере соединений
2. Перетащите преобразование потока данных в поток управления и щелкните по нему, чтобы перейти к потоку данных.
3. Перетащите источник OLEDB из панели инструментов в поток данных и отредактируйте его так, чтобы он соединялся с нужной таблицей с помощью соединения, созданного на шаге 1.
4. Перетащите пункт назначения плоского файла из панели инструментов в поток данных и подключите к нему источник OLEDB.
5. Выберите «Создать» в поле «Назначение плоского файла», и он создаст новый плоский файл с той же структурой столбцов, и вы можете использовать желаемый разделитель или, возможно, фиксированный файл, если вам это нравится.
6. Запустить его.

Любой нуб должен уметь это понять. Специалисту по анти-графическому интерфейсу не понравится это решение, поэтому сохраните комментарии на этот счет, это просто альтернатива для тех, кто не очень разбирается в технологиях и борется с использованием BCP ...

У вас есть немного больше гибкости в том, как форматируется файл данных. Вы можете сделать это в BCP и все такое, но это снимает сложность. Но есть небольшое преимущество, поскольку вы можете вставить собственный заголовок файла и создать «Имя столбца» в качестве первой строки, что делает плоский файл более удобным для человека.

Не забудьте сохранить его, если вы создали его один раз, вас, скорее всего, спросят снова! Надеюсь это поможет..

Я думаю, что bcp.exe из командной строки должен быть самым быстрым способом.

http://msdn.microsoft.com/en-us/library/ms162802.aspx