Конференция завершена. Ждем вас на HighLoad++ в следующий раз!

VK Видео: архитектура крупнейшей видеоплатформы на 4 Тбит/с

Архитектуры, масштабируемость

Архитектурный кейс

Доклад принят в программу конференции

Целевая аудитория

Все, кто так или иначе работает с видеостримингом или просто интересуется темой видео и построением высоконагруженных, отказоустойчивых, масштабируемых систем.

Тезисы

VK Видео — единая технологическая платформа, на которой нам удалось объединить весь видеоконтент экосистемы VK, включая Клипы ВКонтакте. А главное, сконцентрировать все технологии для обработки и передачи видео. Видеоплатформа содержит миллиарды единиц контента в хранилище на эксабайт данных, пользователи генерируют 2,3 млрд просмотров в сутки и 4 Тбит/с трафика в вечернее время. На платформу ежедневно загружают 8 млн новых видео, а в пиковые дни — более 14 млн.

В докладе расскажу:
* о развилках в выборе архитектуры и способах решения основных проблем видеосервиса: его доступности, масштабирования, роста, скорости обработки видео и доставки до пользователей;
* об устройстве стриминга от upload'а до воспроизведения на клиенте, а также технических трюках, с помощью которых мы добиваемся самой быстрой доступности видео на Диком Западе;
* о черной магии, которая помогает добиться скорости и качества сервиса на уровне мировых решений, и о том, как сделать еще лучше;
* о способах достижения баланса в таких вопросах: хранилище vs серверные мощности, клиентский CPU vs сеть, качество картинки vs ресурсы и т. д.;
* как рекомендательная система, технологии компьютерного зрения и распознавания речи позволяют кратно растить смотрение.

Как у всех уважаемых компаний, еще недавно в разных проектах VK было пять видеоплатформ со своими решениями для транскодирования, хранения и воспроизведения видео — так что в докладе затрону и процесс построения единого сервиса компании. Также покажу, как получившаяся архитектура позволяет нам кратно масштабироваться, запускать новые технологии вроде NeuroHD или ASR, не меняя инфраструктуру, и как мы подключаем другие продукты к платформе через gRPC-шину.

Александр Тоболь

ВКонтакте, VK

Технический директор ВКонтакте, VK Видео, VK Клипов и VK Звонков, вице-президент по технологиям и разработке VK. Более 15 лет в коммерческой разработке, 10 из них в роли руководителя — от небольшой команды до компании в несколько тысяч человек.

ВКонтакте, VK

ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.

Видео

Другие доклады секции

Архитектуры, масштабируемость