Разработка высоконагруженных сервисов с моделями OpenAI
Доклад отклонён
Целевая аудитория
1.Разработчики AI приложений.
2. Архитекторы AI приложений, кто ищет способы построить максимально быстрое приложения на основе сервисов Open AI и других языковых моделей
3. Продакт-менеджеры, работающих над проектами, связанными с AI и ищущие способы оптимизации медленных приложений, построенных вокруг языковых моделей
Тезисы
В докладе разберем как добиться максимальной производительности при работе с LLM и Voice To Text моделями OpenAI.
Разберем архитектуру решения реального продукта для анализа аудиозаписей и то, каким образом сервис обрабатывает десятки тысяч аудиозаписей на одном аккаунте Open AI и имеет возможность горизонтально масштабироваться.
Рассмотрим все ограничения Open AI сервисов, возникшие проблемы на пути становления сервиса и этапы изменения архитектуры.
Занимается разработкой 10 лет. Работал в компаниях Raft, Akvelon, Microsoft, Evernote на высоконагруженных проектах. Сейчас занимается AI-направлением в компании Raft на позиции CTO.
Raft
В Raft разрабатывают и интегрируют решения с использованием новейших AI-технологий.
Миссия компании — быть лидером индустрии внедрения AI, создавая инновационные решения, которые помогают клиентам получить значимые результаты для их бизнеса.
Видео
Другие доклады секции
Архитектуры и масштабируемость
