Евгений Косарев на Saint HighLoad++ 2024

От pretrain до alignment: как мы обучали языковую модель GigaChat

BigData и машинное обучение

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Сейчас железо для обучения нейронных сетей не только дорого, так ещё и часто недоступно. В этих условиях на вес золота знания о том, как оптимизировать обучение, выжимая из железа всё возможное. Их-то вы и получите от Евгения!

Целевая аудитория

IT специалисты в области NLP и вообще все желающие

Тезисы

Мы расскажем о том, как обучали гигачат:

1) о важности сбора чистых данных для претрейна, их фильтрациях
2) о возможности дообучать модели, важности выбора правильной смеси данных
3) о том, как делали SFT-пайплайн и налаживали взаимодействие гигачата с другими моделями через функции

Евгений Косарев

SberDevices

Senior ML Developer & NES lecturer | ex YandexGPT

SberDevices

SberDevices - IT-компания, создающая программные решения и цифровые устройства для жизни и бизнеса. От речевых технологий до видеоконференцсвязи, от смарт-ТВ до оснащения умного дома.