ДокладКогда стандартной производительности уже недостаточно

От фактов до сложных рассуждений: как мы обучаем претрейн Alice AI Foundation

Спикеры

Окончила МФТИ и ШАД. Начала карьеру в Яндексе со стажировки в 2021 году: занималась RL-обучением модели в Переводчике, а затем перешла к работе над претрейном Alice AI. Сейчас исследует, как эффективнее обучать LLM: помогать моделям усваивать знания из данных, рассуждать и пользоваться инструментами на разных этапах претрейна.

Отзыв программного комитета

Глубокая инженерная история о том, что если проводить эксперименты на маленькой модели, а потом обучать большую, то результаты могут отличаться. Иногда — разительно. Спикер расскажет, как команда исследовала причины резкого скачка loss и боролась с ним при помощи Z-Loss.

Кому полезно

ML-инженеры, аналитики и технические руководители, которые создают системы на основе машинного обучения и работают с данными для них. Особенно полезно тем, кто обучает или дообучает языковые модели.

О чём доклад

Сколько данных нужно, чтобы обучить языковую модель, и как понять, что она научилась чему-то полезному? На примере Alice AI Foundation расскажу, как мы собираем данные и оцениваем результат. Зачем модели знать факты, если есть поиск? Почему вместо полезных текстов мы однажды собрали телефонные справочники? И почему нельзя просто попросить другую модель написать нам миллион задач? Поговорим про удачные и неудачные эксперименты, инфраструктуру для их проверки и то, что стоит за красивыми числами в таблицах.