Автоматическая суммаризация 10K встреч в день: от требований к продакшн-решению

Архитектура

Доклад принят в программу конференции

Целевая аудитория

Доклад будет полезен тем, кто внедряет ML в highload-системы, работает с real-time анализом текстов и строит масштабируемые backend-решения.

Тезисы

Наш продукт для видеоконференций создает более 10 000 записей встреч в день, и пользователи ожидают саммари как можно раньше. SLA на генерацию саммари изначально был 1 час, но это делало функцию малоценной. Дополнительное ограничение, это время подготовки транскрипции, что накладывает дополнительные требования к скорости обработки и получению саммари.

Я расскажу, как мы построили систему, которая выдерживает 10K+ запросов в день и выдает саммари за 5–15 минут. Разберем архитектуру фичи от создания записи до получения саммари, влияние SLA на компоненты системы.

Старший ML-инженер лаборатории Speech&NLP в центре ИИ Контура. Ex-Just AI, Flying Cloud.

Видео

Другие доклады секции

Архитектура