Эффективное хранение: как мы из 50 Пб сделали 32 Пб
В этом докладе я расскажу, как мы в Почте@mail.ru разрабатывали и внедряли новую систему хранения аттачей из писем.
Доклад состоит из трех частей.
1. Я расскажу, как построить систему, которая принимает 80 000 файлов в минуту, на лету вычисляет дубли и сохраняет их.
2. Как для этого организована система хранения метаинформации, чтобы на нее хватило оперативной памяти.
3. Какие нужны инструменты для обеспечения своевременного нахождения проблем в холодных данных. Жесткие диски, к сожалению, не вечны, а данные пользователя терять нельзя.
В этом докладе я расскажу, как мы в Почте@mail.ru разрабатывали и внедряли новую систему хранения аттачей из писем.
Доклад состоит из трех частей.
1. Я расскажу, как построить систему, которая принимает 80 000 файлов в минуту, на лету вычисляет дубли и сохраняет их.
2. Как для этого организована система хранения метаинформации, чтобы на нее хватило оперативной памяти.
3. Какие нужны инструменты для обеспечения своевременного нахождения проблем в холодных данных. Жесткие диски, к сожалению, не вечны, а данные пользователя терять нельзя.