Программно-определяемое хранилище для инференса LLM: CDI-подход
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Производительность инференса больших языковых моделей упирается в производительность подсистемы хранения в двух местах: медленная загрузка весов при холодном старте и скорость KV-кэша. Скорость ответа KV-кэша, который может быть расположен во внешнем хранилище, зависит от места расположения данных и скорости обмена между серверами. В докладе мы рассматриваем, как программно-определяемое хранилище, собираемое по запросу из накопителей самих серверов инференса (подход CDI — Composable Disaggregated Infrastructure), закрывает такие задачи как: быстрая загрузка весов через GPUDirect Storage, создание KV-кэша с параллельным доступом и переиспользование локальных дисков. В докладе — демонстрация на нашем стенде с реальными цифрами.
Что рассмотрим: • CDI - сервер как пул ресурсов; программно-определяемое хранилище из пулов NVMe поверх сети( NVMe-oF) - опыт РСК, рейтинг IO500, суперкомпьютер «Говорун» и др. • Холодный старт: загрузка весов через шардинг, квантизацию и GPUDirect Storage • KV-кэш: смещение узкого места с ёмкости на характеристики распределенного хранилища данных — дизагрегированный кэш и обмен между узлами • Разделяемое хранилище в сравнении с локальным NVMe • Будущее: размещение кэша по уровням памяти и аппаратная дизагрегация ускорителей и накопителей
Что вынесут слушатели: • Цифры сравнения разделяемого хранилища с локальным NVMe • Как устроена быстрая загрузка весов с использованием параллельной файловой системы (шардинг + квантизация + GPUDirect Storage) и за счёт чего она работает • Почему узкое место KV-кэша сместилось с ёмкости на размещение — и что это меняет в архитектуре хранения.
Со-основатель и руководитель группы компаний РСК, российского разработчика и производителя суперкомпьютерных систем.
Имеет большой опыт работы в научных организациях и на российском рынке ИТ с 1997 года: Российская академия наук (старший научный сотрудник), VDI (поглощена EPAM), московское представительство Digital Equipment Corporation (разработка программного обеспечения).
Автор более 30 научных публикаций в области компьютерного моделирования в химии и высокопроизводительных вычислений. Лауреат Премии имени С.А. Лебедева Российской академии наук за 2015 год.
Более 12 лет сотрудничает с РСК в разработке систем управления вычислительными кластерами, суперкомпьютерами и инженерной инфраструктурой. До прихода в РСК работал в "Автовазе". В 2010 году закончил Тольяттинский Государственный Университет, по специальности "Промышленная электроника".
Начинал с низкоуровневой разработки ELF под siemens. Финалист первого хакатона «Цифровой прорыв». Работал программистом в «Группа компаний LAD». С 2020 года в группе компаний РСК, ведущий специалист по высокопроизводительным системах хранения данных.
Видео
Другие доклады секции
Высокопроизводительные вычисления
