Мнение Программного комитета о докладе
Описание поэтапного внедрения разметки в платформу. Будет интересно всем, кто хочет работать с этой темой и не ошибиться.
Доклад принят в программу конференции
Описание поэтапного внедрения разметки в платформу. Будет интересно всем, кто хочет работать с этой темой и не ошибиться.
В начале июля мы выкатили на нашей платформе разметки опцию разметки на LLM и VLM. Теперь при запуске разметки пользователь может выбрать человека, модель, а может поставить условие по качеству и тогда будет работать комбинация модели и человека. Расскажу о том, какие компоненты мы реализовали и как интегрировали для того, чтобы наряду с асессорской разметкой дать пользователям доступ к авторазметке. Основные фичи:
- оценка уверенности генеративной модели,
- рекомендации по улучшению промта,
- регулярный мониторинг качества,
- авто-типизация проектов и рекомендация автоматик.
Расскажу, как мы пришли от кастомных автоматик под каждый проект разметки к настраиваемой автоматике на платформе. Как устроена архитектура микросервисов и данных, мониторинги, контроль нагрузки. Полезно будет всем, кто стремится настроить регулярные авторазметки на генеративных моделях и экспериментирует с LLM-as-a-judge.
6 лет в Data Science, 3 года тимлид, последние 1,5 года руковожу ML группой в Яндекс Крауд. Начинала в McKinsey в направлении Advanced Analytics, делала несколько крупных проектов в области рекомендаций и персонализации промо в ритейле (в РФ и за рубежом). Перешла тимлидом в Мегафон, настраивали рекомендации по тарифным планам, под конец перешла в роль руководителя 4-х тимлидов. В апреле прошлого года пришла в Yandex Crowd тимлидом в команду из 11 человек (сейчас нас уже 15). Вместе с командой настраиваем автоматизацию разметок, создаём чат-ботов, строим копайлоты для краудсорс-исполнителей. Наши проекты - интеграционные, делаем фичи для платформ Yandex Crowd. Ведём проекты от стадии RnD до выкатки в прод и дальнейшей поддержки.
В свободное время танцую аргентинское танго, путешествую.
GenAI и большие языковые модели (LLM)
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем
Варианты участия
Офлайн-участие
Стоимость конференции постоянно растет — чем ближе к мероприятию, тем дороже.
Текущая стоимость билета — 105000 ₽
Онлайн-участие
Все потоки с докладами (но не потоки с митапами) будут транслироваться нами онлайн.
Текущая стоимость билета — 52500 ₽
Корпоративное участие (от 10 билетов)
Для заказа от 10 билетов на очное или онлайн-участие, свяжитесь с нами по partners@ontico.ru.
Передумали покупать?
Расскажите, почему
Благодарим вас за ответ!
Видео, доступные к покупке
Видео AiConf 2024
26 и 27 сентября 2024
37500 ₽
Видео FrontendConf 2024
30 сентября 2024 и 1 октября 2024
37500 ₽
Видео Industrial++ 2024
21 и 22 октября 2024
37500 ₽
Видео TeamLead Conf++ 2024
27 и 28 ноября 2024
37500 ₽
Видео DevOpsConf 2025
7 и 8 апреля 2025
52500 ₽
Видео Knowledge Conf X 2025
2 июня 2025
21000 ₽
Видео Golang Conf X 2025
4 июня 2025
21000 ₽
Видео TechLead Conf X 2025
5 июня 2025
21000 ₽
Видео Saint HighLoad++ 2025
23 и 24 июня 2025
52500 ₽
Видео Saint TeamLead Conf 2025
26 и 27 июня 2025
52500 ₽
Видео TechFounders 2025
22 сентября 2025
21000 ₽
Видео Data Internals X 2025
23 сентября 2025
21000 ₽
Видео DevRelConf #9
24 сентября 2025
21000 ₽
Видео Industrial++ 2025
25 сентября 2025
21000 ₽
Видео AiConf X 2025
26 сентября 2025
21000 ₽