Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Команда SberDevices активно разрабатывает виртуальных ассистентов Салют. Мы используем технологии AI для распознавания голоса и обработки естественного языка, чтобы наши помощники умели вести беседу и приносили реальную пользу людям.
Для этого постоянно приходится решать различные NLP-задачи. Мы адаптируем и обучаем большие языковые модели на базе трансформеров (BERT, GPT), которыми делимся с сообществом в open source:
https://habr.com/ru/company/sberbank/blog/524522/
https://habr.com/ru/company/sberdevices/blog/547568/
С одной стороны, возникает большое количество специфичных задач: например, классификация сообщений, выделение именованных сущностей, определение интентов, моделирование диалога, а с другой — необходимость быстрого инференса в условиях большой нагрузки.
В рамках доклада мы поделимся своими практиками, как эффективно обучать большие multitask-модели, быстро собирать необходимые данные и, самое главное, как оптимизировать использование ресурсов памяти и ускорять модели в продакшне.
Занимается машинным обучением в SberDevices, специализируется на NLP.
SberDevices
Более 9 лет опыта в области AI, ML. Исполнительный директор, руководитель команд ML/AI для b2c в SberAI. Участник команды разработчиков GigaChat, AI-евангелист, автор ruMTEB, FRIDA, ruSBERT, ru-en-RoSBERTa, ruElectra, augmentex, kaggle competitions master. Автор канала @dealerAI.
SberAI
Видео
Другие доклады секции
Нейронные сети, искусственный интеллект