Effective storage: how we've turned 50 PB into 32 PB

В этом докладе я расскажу, как мы в Почте@mail.ru разрабатывали и внедряли новую систему хранения аттачей из писем.

Доклад состоит из трех частей.
1. Я расскажу, как построить систему, которая принимает 80 000 файлов в минуту, на лету вычисляет дубли и сохраняет их.
2. Как для этого организована система хранения метаинформации, чтобы на нее хватило оперативной памяти.
3. Какие нужны инструменты для обеспечения своевременного нахождения проблем в холодных данных. Жесткие диски, к сожалению, не вечны, а данные пользователя терять нельзя.

В этом докладе я расскажу, как мы в Почте@mail.ru разрабатывали и внедряли новую систему хранения аттачей из писем.

Доклад состоит из трех частей.
1. Я расскажу, как построить систему, которая принимает 80 000 файлов в минуту, на лету вычисляет дубли и сохраняет их.
2. Как для этого организована система хранения метаинформации, чтобы на нее хватило оперативной памяти.
3. Какие нужны инструменты для обеспечения своевременного нахождения проблем в холодных данных. Жесткие диски, к сожалению, не вечны, а данные пользователя терять нельзя.