Вопросы с тегом «bulk»

2
Оптимизация производительности массовых обновлений в PostgreSQL
Использование PG 9.1 в Ubuntu 12.04. В настоящее время нам требуется до 24 часов для выполнения большого набора операторов UPDATE в базе данных, которые имеют вид: UPDATE table SET field1 = constant1, field2 = constant2, ... WHERE id = constid (Мы просто перезаписываем поля объектов, идентифицированных по ID.) Значения поступают …

2
Самый эффективный способ массового удаления строк из postgres
Мне интересно, как наиболее эффективно было бы удалить большое количество строк из PostgreSQL, этот процесс будет частью повторяющейся задачи каждый день для массового импорта данных (дельта вставок + удалений) в таблицу. Могут быть тысячи, потенциально миллионы строк, которые нужно удалить. У меня есть файл первичных ключей, по одному на строку. …

3
Почему «LOAD DATA INFILE» быстрее, чем обычные операторы INSERT?
Я прочитал статью, в которой упоминалось, что мы можем достичь 60 000 операций вставки в секунду с помощью LOAD DATA IN FILEоператора, который читает файлы CSV и вставляет данные в базу данных. Почему он должен отличаться от обычных вставок? РЕДАКТИРОВАТЬ: я сократил туда-обратно, позвонив только одно INSERTзаявление: INSERT INTO tblname …
22 mysql  import  bulk 

2
Что конкретно делает OracleBulkCopy и как я могу оптимизировать его производительность?
Подведем итоги: нам нужно поместить приблизительно 5 миллионов строк в базу данных поставщика (Oracle). Все отлично подходит для пакетов по OracleBulkCopy500 тыс. Строк с использованием (ODP.NET), но когда мы пытаемся масштабировать до 5M, производительность начинает снижаться, когда достигает отметки 1M, становится все медленнее по мере загрузки большего количества строк и, …
14 oracle  bulk 

3
Создать таблицу из файла CSV с заголовками
Я ищу способ создания новой таблицы MySQL исключительно на основе содержимого указанного CSV. Файлы CSV, которые я буду использовать, имеют следующие свойства; "|" разграничены. В первой строке указываются имена столбцов (заголовки), а также "|" разграничены. Имена столбцов и порядок не фиксированы. Количество столбцов не фиксировано. Файлы имеют большой размер (1 …
12 mysql  csv  import  bulk 

1
Лучший способ повторно импортировать большой объем данных с минимальным временем простоя
Мне нужно импортировать около 500 000 записей, содержащих данные поиска по IP (только для чтения), примерно раз в неделю (только три столбца типа int / bigint). Я не хочу беспокоиться о слиянии данных с существующей таблицей, я бы предпочел очистить старую и повторно импортировать. В идеале запросы, выполняющиеся над данными, …

4
Предложение для массового импорта данных
Мы работаем над проектом, который требует ежедневного импорта данных из электронной таблицы Excel. Данные будут импортированы из предопределенного шаблона и, что мы думаем, сначала мы загрузим данные во временную таблицу и выполним операцию очистки (удаление ненужной информации, добавление новых строк в родительскую таблицу и получение их FK и т. Д.). …
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.