Конференция завершена. Ждем вас на HighLoad++ Foundation в следующий раз!

VK Видео: архитектура крупнейшей видеоплатформы на 4 Тбит/с

Архитектурный кейс

Доклад принят в программу конференции

Тезисы

VK Видео — единая технологическая платформа, на которой нам удалось объединить весь видеоконтент экосистемы VK, включая Клипы ВКонтакте. А главное, сконцентрировать все технологии для обработки и передачи видео. Видеоплатформа содержит миллиарды единиц контента в хранилище на эксабайт данных, пользователи генерируют 2,3 млрд просмотров в сутки и 4 Тбит/с трафика в вечернее время. На платформу ежедневно загружают 8 млн новых видео, а в пиковые дни — более 14 млн.

В докладе расскажу:
* о развилках в выборе архитектуры и способах решения основных проблем видеосервиса: его доступности, масштабирования, роста, скорости обработки видео и доставки до пользователей;
* об устройстве стриминга от upload'а до воспроизведения на клиенте, а также технических трюках, с помощью которых мы добиваемся самой быстрой доступности видео на Диком Западе;
* о черной магии, которая помогает добиться скорости и качества сервиса на уровне мировых решений, и о том, как сделать еще лучше;
* о способах достижения баланса в таких вопросах: хранилище vs серверные мощности, клиентский CPU vs сеть, качество картинки vs ресурсы и т. д.;
* как рекомендательная система, технологии компьютерного зрения и распознавания речи позволяют кратно растить смотрение.

Как у всех уважаемых компаний, еще недавно в разных проектах VK было пять видеоплатформ со своими решениями для транскодирования, хранения и воспроизведения видео — так что в докладе затрону и процесс построения единого сервиса компании. Также покажу, как получившаяся архитектура позволяет нам кратно масштабироваться, запускать новые технологии вроде NeuroHD или ASR, не меняя инфраструктуру, и как мы подключаем другие продукты к платформе через gRPC-шину.

Технический директор ВКонтакте, VK Видео и VK Звонков. Более 12 лет в области разработки высоконагруженного программного обеспечения для обработки видео и хранения информации. Стаж разработки коммерческого ПО более 15 лет.

Видео

Другие доклады секции

Архитектурный кейс