На железе все счастливы по-разному, в облаках — страдают одинаково. Что делать?

Резерв

Эффективное использование облаков
Надёжность продакшена
Оптимизация
Облака

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Переезд в облака стал для нас обыденностью, но действительно ли это так просто? Автор на собственном примере расскажет, с какими неочевидными сложностями столкнулась команда при миграции в облако поисковых движков ВК.

Целевая аудитория

Специалисты в области высоконагруженных backend'ов, разработчики и администраторы систем облачных вычислений.

Тезисы

Облачные вычисления являются подходом к оптимизации использования вычислительных ресурсов и упрощению развертывания. Однако при переносе высоконагруженных приложений возникает ряд проблем, приводящих к повышенному потреблению вычислительных ресурсов в облаке по сравнению с инсталляцией «на железе». При этом возникающие проблемы часто не специфичны для определенной реализации облака.

В настоящем докладе авторы обобщают опыт переноса поисковых движков ВК в собственную реализацию облака VK (OneCloud). При обсуждении проблем и их решений для проприетарного облака выделяются те вопросы, которые могут встретиться и в других инсталляциях облаков, например:
* как настроить планировщик для корректного разделения процессорного времени между задачами с разными приоритетами;
* как настроить cgoups для валидной работы с disk cache;
* как не деградировать из-за разделения между задачами аппаратных средств CPU, таких как кэш, branch prediction unit и других ресурсов.

Руководитель группы core-технологий ранжирования в поиске ВК. С командой занимается разработкой и поддержкой поискового backend. Взаимодействуют с пайплайнами подготовки данных, индексации, хранилищами, применением моделей машинного обучения.

Видео