У нас получилось ускорить наши претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости?

В докладе я расскажу про: * особенности обучения на больших кластерах и узкие места в современных претрейнах; * библиотеку YaFSDP как способ побороть неэффективности в коммуникациях; * оптимизации памяти; * ценность 3d-4d-параллелизма для обучения реально больших моделей; * о том, как мы ускорили MoE.

Возможно, будут и другие секретные оптимизации. Мы ускоряем наши обучения постоянно, поэтому к моменту выступления доклад может наполниться еще одним-двумя трюками.