Инкрементальная загрузка
Задача
Загружать данные в базу данных без переписывания имеющихся данных.
Проблема
По умолчанию скрипт создается в режиме полной перезаписи. При каждом выполнении скрипта таблица удаляется и пересоздается. Для больших таблиц такая операция может быть очень длительной, xnn будет приводить к простою системы.
Решение
Изменить настройку скрипта, чтобы не переписывать а дописывать данные
- Переместим секцию Delete под Create. Вместе полного удаления таблицы (DROP) укажем конструкцию ALTER и удалим данные за последние 7 дней.
- Для запроса добавим такое же условие, будем получать данные только за последние 7 дней.
Итог
Данные не будут постоянно перезаписываться, каждый запуск скрипта будет удаляться информация за последние 7 дней и записываться заново, что при большом количестве данных сильно уменьшит время выполнения скрипта.