Вопросы с тегом «bulk»

Использование PG 9.1 в Ubuntu 12.04. В настоящее время нам требуется до 24 часов для выполнения большого набора операторов UPDATE в базе данных, которые имеют вид: UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (Мы просто перезаписываем поля объектов, идентифицированных по ID.) Значения поступают …

37 postgresql  performance  update  bulk 

Мне интересно, как наиболее эффективно было бы удалить большое количество строк из PostgreSQL, этот процесс будет частью повторяющейся задачи каждый день для массового импорта данных (дельта вставок + удалений) в таблицу. Могут быть тысячи, потенциально миллионы строк, которые нужно удалить. У меня есть файл первичных ключей, по одному на строку. …

23 postgresql  delete  bulk 

Я прочитал статью, в которой упоминалось, что мы можем достичь 60 000 операций вставки в секунду с помощью LOAD DATA IN FILEоператора, который читает файлы CSV и вставляет данные в базу данных. Почему он должен отличаться от обычных вставок? РЕДАКТИРОВАТЬ: я сократил туда-обратно, позвонив только одно INSERTзаявление: INSERT INTO tblname …

22 mysql  import  bulk 

Подведем итоги: нам нужно поместить приблизительно 5 миллионов строк в базу данных поставщика (Oracle). Все отлично подходит для пакетов по OracleBulkCopy500 тыс. Строк с использованием (ODP.NET), но когда мы пытаемся масштабировать до 5M, производительность начинает снижаться, когда достигает отметки 1M, становится все медленнее по мере загрузки большего количества строк и, …

14 oracle  bulk 

Я ищу способ создания новой таблицы MySQL исключительно на основе содержимого указанного CSV. Файлы CSV, которые я буду использовать, имеют следующие свойства; "|" разграничены. В первой строке указываются имена столбцов (заголовки), а также "|" разграничены. Имена столбцов и порядок не фиксированы. Количество столбцов не фиксировано. Файлы имеют большой размер (1 …

12 mysql  csv  import  bulk 

Мне нужно импортировать около 500 000 записей, содержащих данные поиска по IP (только для чтения), примерно раз в неделю (только три столбца типа int / bigint). Я не хочу беспокоиться о слиянии данных с существующей таблицей, я бы предпочел очистить старую и повторно импортировать. В идеале запросы, выполняющиеся над данными, …

11 sql-server  import  bulk 

Мы работаем над проектом, который требует ежедневного импорта данных из электронной таблицы Excel. Данные будут импортированы из предопределенного шаблона и, что мы думаем, сначала мы загрузим данные во временную таблицу и выполним операцию очистки (удаление ненужной информации, добавление новых строк в родительскую таблицу и получение их FK и т. Д.). …

8 sql-server  bulk  import