Ускоряем обучения LLM более, чем на 45%: увеличиваем реальную утилизацию GPU при помощи оптимизации использования памяти, коммуникаций и здравого смысла Нейронные сети и искусственный интеллект (data science)
Доклад принят в Программу конференции
Тезисы
У нас получилось ускорить наши претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости?
В докладе я расскажу про:
* особенности обучения на больших кластерах и узкие места в современных претрейнах;
* библиотеку YaFSDP как способ побороть неэффективности в коммуникациях;
* оптимизации памяти;
* ценность 3d-4d-параллелизма для обучения реально больших моделей;
* о том, как мы ускорили MoE.
Возможно, будут и другие секретные оптимизации. Мы ускоряем наши обучения постоянно, поэтому к моменту выступления доклад может наполниться еще одним-двумя трюками.
Другие доклады секции Нейронные сети и искусственный интеллект (data science)
Эффективная модерация изображений: как исправлять нарушения, сохраняя количество и качество контента
Авито
VisionLabs
Магнит Маркет
Яндекс
«Компьютерное зрение медтеха: как VisionLabs с нуля создавала решение для детектирования рака почек»
VisionLabs
Оператор Газпром ИД
devhands.io
Х5 Didgital
Сбер (GigaCode)
Wildberries
SberDevices
