One-cloud VK: эволюция облачной платформы от сервиса для Одноклассников до ядра всей инфраструктуры компании

Изначально One-cloud создавался как облачная платформа для Одноклассников. За счет облака удалось добиться заметных результатов: повысить эффективность использования вычислительных ресурсов и существенно ускорить выкатку релизов.

Затем к VK присоединился новый продукт — Дзен, который перешёл из технологически зрелой компании. Инфраструктурные требования нового сервиса стали вызовом для VK. При анализе вариантов миграции Дзена на инфру VK команда поняла, что облако Одноклассников лучше всего подходит как основа для быстрого переезда. Перенос части Дзена за два месяца на One-cloud подтвердил гипотезу: в нашем облаке могут жить не только Одноклассники, но и другие бизнес-юниты. После этого было принято решение масштабировать One-cloud на всю компанию. Однако при миграции крупных сервисов на единую технологию каждый приносил требования, которые заставляли пересмотреть архитектуру уже самого облака. Для Вконтакте необходимо было обеспечить скорость релизов для сервиса на 400к ядер и преодолеть тезис "сервис может жить только на bare metal". Рекомендательной системе — поднять YT и обеспечить инфраструктуру для сервиса масштаба 1млн ядер. Единой платформе для работы с данными — вывести из эксплуатации несколько разрозненных Hadoop-кластеров и объединить их в единое хранилище. В результате One-cloud превратился из инфраструктурной платформы в самостоятельный продукт со своей архитектурой, пользователями и требованиями к развитию. Сегодня One-cloud объединяет 35 тысяч серверов, 5 млн ядер и более 2 эксабайт данных. В докладе разберём, как продуктовые задачи сформировали облачную платформу, где приходилось адаптировать сервисы под облако, а где — облако под сервисы, и почему собственное облако — это не только про экономию железа, но и про новую культуру разработки.