Программа

От Oracle к PostgreSQL - путь длиною в 4 года

Доклад, 16 июля

От Oracle к PostgreSQL - путь длиною в 4 года pdf Скачать

Долгое время мы работали с базой данных Oracle. Как только выросло кол-во данных и нагрузка - стало понятно, что оптимизации запросов и структуры недостаточно. Как минимум, надо было включить партиционирование (в Oracle это платная дополнительная опция), а, в идеале, надо было перейти на какое-то MPP решение, которое у Oracle стоит безумных денег: grid, RAC, Exadata.<br /> <br /> Были рассмотрены различные варианты, и мы остановились на следующем: за основу взять PostgreSQL, для начала запустить один мощный сервер рядом с Oracle, постепенно на него мигрироваться, а после - переходить на MPP решение Greenplum.<br /> <br /> Вся работа заняла 4 года. Задача усложнялась непрерывном ростом статистики и нагрузки, и тем что существует еще один продукт, который интенсивно использует БД.<br /> <br /> Во время миграции было реализовано много решений, таких как:<br /> - online репликация Oracle -> PostgreSQL;<br /> - система патчинга баз данных, синхронизации и запуска приложений;<br /> - система загрузки большого объема статистических данных;<br /> - система мониторинга, в том числе было реализовано что-то вроде Oracle Enterprise Manager для PostgreSQL;<br /> - переход на BI систему Pentaho на этой базе данных;<br /> - ну и прочие небольшие системы со своими особенностями работы с job-ами, партициями, stand-by и backup.<br /> <br /> На данный момент мы полностью завершили миграцию на PostgreSQL. Некоторая статистика хранится в Hadoop. Части дисков пришлось сделать un-raid, чтобы вмещать все возрастающий объем данных. Вопрос перехода на Greenplum еще открыт. Общий размер команды - до 30 человек, включая 6 разработчиков БД. На данный момент размер базы около 3Tb, без учета статистики, переехавшей в Hadoop.