← Программа
От Oracle к PostgreSQL - путь длиною в 4 года
Доклад,
16 июля
От Oracle к PostgreSQL - путь длиною в 4 года
Скачать
↓
Долгое время мы работали с базой данных Oracle. Как только выросло кол-во данных и нагрузка - стало понятно, что оптимизации запросов и структуры недостаточно. Как минимум, надо было включить партиционирование (в Oracle это платная дополнительная опция), а, в идеале, надо было перейти на какое-то MPP решение, которое у Oracle стоит безумных денег: grid, RAC, Exadata.<br />
<br />
Были рассмотрены различные варианты, и мы остановились на следующем: за основу взять PostgreSQL, для начала запустить один мощный сервер рядом с Oracle, постепенно на него мигрироваться, а после - переходить на MPP решение Greenplum.<br />
<br />
Вся работа заняла 4 года. Задача усложнялась непрерывном ростом статистики и нагрузки, и тем что существует еще один продукт, который интенсивно использует БД.<br />
<br />
Во время миграции было реализовано много решений, таких как:<br />
- online репликация Oracle -> PostgreSQL;<br />
- система патчинга баз данных, синхронизации и запуска приложений;<br />
- система загрузки большого объема статистических данных;<br />
- система мониторинга, в том числе было реализовано что-то вроде Oracle Enterprise Manager для PostgreSQL;<br />
- переход на BI систему Pentaho на этой базе данных;<br />
- ну и прочие небольшие системы со своими особенностями работы с job-ами, партициями, stand-by и backup.<br />
<br />
На данный момент мы полностью завершили миграцию на PostgreSQL. Некоторая статистика хранится в Hadoop. Части дисков пришлось сделать un-raid, чтобы вмещать все возрастающий объем данных. Вопрос перехода на Greenplum еще открыт. Общий размер команды - до 30 человек, включая 6 разработчиков БД. На данный момент размер базы около 3Tb, без учета статистики, переехавшей в Hadoop.