Вопросы с тегом «etl»

Я использую PostgreSQL 9.1 в Ubuntu. Запланировано ли это по- VACUUM ANALYZEпрежнему, или этого достаточно для того, чтобы позаботиться обо всех потребностях? Если ответ «это зависит», то: У меня большая база данных (размер сжатого дампа 30 ГиБ, каталог данных 200 ГиБ) Я делаю ETL в базу данных, импортируя около 3 …

38 postgresql  etl  vacuum 

В рамках нашего процесса ETL мы сравниваем строки от подготовки к базе данных отчетов, чтобы выяснить, действительно ли какой-либо из столбцов изменился с момента последней загрузки данных. Сравнение основано на уникальном ключе таблицы и некотором хешировании всех остальных столбцов. В настоящее время мы используем HASHBYTESэтот SHA2_256алгоритм и обнаружили, что он …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

Вопрос: У меня есть скрипт с около 45 тысяч вставок из отборных высказываний. Когда я пытаюсь запустить его, я получаю сообщение об ошибке, в котором говорится, что у меня недостаточно памяти. Как мне запустить этот скрипт? Контекст: Добавлены некоторые новые поля данных, чтобы приложение работало с другим приложением, которое использует …

28 sql-server  sql-server-2005  etl 

Закрыто. Этот вопрос не по теме . В настоящее время не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос так это на тему для базы данных администраторов Stack Exchange. Закрыто 4 года назад . Я использовал интеграцию данных Pentaho еще до того, как Pentaho купил ее и назвал так. У …

26 etl 

Я понял, что моя компания использует процесс ELT (extract-load-transform) вместо использования процесса ETL (extract-transform-load). Каковы различия в этих двух подходах и в каких ситуациях один будет «лучше», чем другой? Было бы здорово, если бы вы могли привести несколько примеров.

19 data-warehouse  etl  business-intelligence 

Мы делаем процесс ETL. Когда все сказано и сделано, есть несколько таблиц, которые должны быть идентичными. Какой самый быстрый способ проверить, что эти таблицы (на двух разных серверах) на самом деле идентичны. Я говорю о схеме и данных. Могу ли я сделать хеш для таблицы сам по себе, как если …

12 sql-server  sql-server-2008-r2  etl  except 

Исходя из моего анализа, полная размерная модель нашего хранилища данных потребует извлечения из более чем 200 исходных таблиц. Некоторые из этих таблиц будут извлечены как часть дополнительной нагрузки, а другие будут полной загрузкой. Отметим, что у нас есть около 225 исходных баз данных с одинаковой схемой. Из того, что я …

12 sql-server  sql-server-2005  ssis  data-warehouse  etl 

Я новичок в PostgreSQL, я никогда не делал большого развертывания, используя его раньше. Но у меня есть хороший опыт в корпоративных решениях, и я хочу попробовать применить кое-что из того, что я узнал, с помощью PostgreSQL. У меня есть сайт, который рассчитан на большое количество данных и трафика. Инфраструктура будет …

11 postgresql  data-warehouse  etl 

В настоящее время я нахожусь в процессе создания ETL для нашего хранилища данных. Мы используем SSIS 2008, но у нас возникают проблемы, самая большая из которых - это проблема повторного использования компонентов. У нас есть отдельные пакеты для каждой таблицы, и каждый пакет принимает в качестве входных данных несколько переменных …

10 sql-server  etl 

Я исследовал базу данных Amazon Redshift как возможную будущую замену нашему хранилищу данных. Мой опыт всегда был в использовании многомерного моделирования и методов Ральфа Кимбалла, поэтому было немного странно видеть, что Redshift не поддерживает такие функции, как последовательный тип данных для автоинкрементных столбцов. Тем не менее, есть недавнее сообщение в …

9 etl  dimensional-modeling  redshift