Переход от LLM-моделей GigaChat до технологической платформы GigaPlatform

В России мало кто имеет опыт обучения LLM в промышленных масштабах. В том же Китае работают 20+ команд, которые понимают в этой теме — там есть с кем обмениваться опытом и у кого учиться. А у нас таких шансов нет, приходится изобретать велосипеды и набивать шишки самостоятельно. Когда мы в Сбере начинали строить GigaChat, у нас были разрозненные ML-микросервисы: один занимался распознаванием речи, другой компьютерным зрением, третий текстовыми задачами. Каждый сервис делал что-то маленькое свое и жил изолированно. Со временем поняли, что все сервисы надо прошивать между собой и объединять платформу. Место, где можно от и до создать ML-продукт. Например, когда захотели создать voice-mode чат (как у ChatGPT), оказалось, что связать несколько сервисов, которые будут работать в связке — это отдельная инженерная задача уровня highload. Проблемы, с которыми мы столкнулись: Разработка собственных GenAI решений — дорого, сложно Количество наших GenAI технологий росло, сложность их использования для клиента — тоже Готовые решения для inference категорически не подходили для наших нагрузок и мультимодальных технологий У каждой технологии — своя ветка разработки, нужно было сводить всю разработку моделей в релизы, которые дружат друг с другом Каждый кубик в платформе — собственная модель со своими особенностями. Например, в платформу входят мультимодальный GigaChat с поддержкой Audio, а также наша сеть для генерации изображений по тексту — Kandinsky. Одно дело — технология, а другое — продукт, с использованием нескольких объединенных технологий. Сразу возникли сложности с тем, что по одиночке всё работает, а вместе — уже нет.

Что мы поняли и как решали: Так как мы пошли в собственную разработку GenAI решений, то нам нужно очень много вкладывать в обучение моделей. Мы одни из немногих, кто в России столько вкладывает в оптимизацию обучения. В разработке каждой из моделей — уникальный опыт. В каких-то технологиях мы лучшие в своей категории, в каких-то догоняем.

В итоге, мы создали платформу GenAI, питающую нашу группу компаний. Платформа сегодня обрабатывает эквивалент 50 лет речи за сутки и справляется с 15K одновременных потоков. Наши LLM в день пишут в 9 раз больше слов, чем человек за всю жизнь. Наши уникальные решения: Собственные техники оптимизации training pipeline (конкретные цифры экономии ресурсов) Кастомные решения для inference вместо готовых фреймворков — расскажу почему SGLANG/VLLM/TensorRT as is не подходят Специальные подходы к обучению мультимодальности Свой, большой пройденный путь в каждой технологии Наши провалы/трудности: Датасет претрейна LLM — самое важное и сложное Отличие мощностей для инференса, требующихся для разных моделей Недооценка сложности перехода от изолированных сервисов к единой платформе Практическая польза: Расскажу, как мы строим наши GenAI технологии, в чем особенности и челленджи. Покажу как строить не прототипы, а системы которые реально работают с 15K+ потоков. Как строить сложные ML-конвейеры, где используются несколько ML-технологий. Что унесете с собой: Конкретные техники снижения стоимости обучения LLM Подходы к оптимизации inference для высоких нагрузок Архитектурные паттерны для перехода от микросервисов к ML-платформе Опыт создания одного из самых больших ML-инференсов в России