Как перевести разметку на генеративные модели, не уронив качество и стабильность
Доклад принят в программу конференции
Целевая аудитория
Тезисы
В начале июля мы выкатили на нашей платформе разметки опцию разметки на LLM и VLM. Теперь при запуске разметки пользователь может выбрать человека, модель, а может поставить условие по качеству и тогда будет работать комбинация модели и человека. Расскажу о том, какие компоненты мы реализовали и как интегрировали для того, чтобы наряду с асессорской разметкой дать пользователям доступ к авторазметке. Основные фичи:
- оценка уверенности генеративной модели,
- рекомендации по улучшению промта,
- регулярный мониторинг качества,
- авто-типизация проектов и рекомендация автоматик.
Расскажу, как мы пришли от кастомных автоматик под каждый проект разметки к настраиваемой автоматике на платформе. Как устроена архитектура микросервисов и данных, мониторинги, контроль нагрузки. Полезно будет всем, кто стремится настроить регулярные авторазметки на генеративных моделях и экспериментирует с LLM-as-a-judge.
6 лет в Data Science, 3 года тимлид, последние 1,5 года руковожу ML группой в Яндекс Крауд. Начинала в McKinsey в направлении Advanced Analytics, делала несколько крупных проектов в области рекомендаций и персонализации промо в ритейле (в РФ и за рубежом). Перешла тимлидом в Мегафон, настраивали рекомендации по тарифным планам, под конец перешла в роль руководителя 4-х тимлидов. В апреле прошлого года пришла в Yandex Crowd тимлидом в команду из 11 человек (сейчас нас уже 15). Вместе с командой настраиваем автоматизацию разметок, создаём чат-ботов, строим копайлоты для краудсорс-исполнителей. Наши проекты - интеграционные, делаем фичи для платформ Yandex Crowd. Ведём проекты от стадии RnD до выкатки в прод и дальнейшей поддержки.
В свободное время танцую аргентинское танго, путешествую.
Видео
Другие доклады секции
GenAI и большие языковые модели (LLM)
