Вне категорий

GigaChat это уникальная российская LLM, которую обучают, оптимизируют и масштабируют в продакшне. Голосовые ассистенты, управление роботами, мультимодальность — всё держится на одной текстовой модели.

Почему 90% команд отказываются строить свою LLM? Слишком дорого, слишком долго, слишком много неизвестных. Что реально стоит за этим решением — по деньгам, по инженерным ошибкам, по выбору архитектуры?

Как решали: Я расскажу о GigaChat 3.5 в стиле инженерного разбора: почему текстовая модель стала ядром для синтеза речи, мультимодальности и робототехники. Как оптимизировали датасеты претрейна, как сократили цикл экспериментов и как удешевили обучение и инференс под реальные highload-нагрузки. Плюс — конкретные продакшн-кейсы с метриками и деньгами.

Что заберёте с собой: — Стоимость обучения LLM: где уходят ресурсы и как это сократить — Оптимизация цикла исследований: от данных до экспериментов — Почему одна базовая текстовая модель выигрывает у зоопарка специализированных — Продакшн-кейсы и российской LLM

This talk is highly applicable to backend engineers, SREs, and architects working with high-concurrency APIs, microservices, or Fintech stacks. By using Pix as a concrete, battle-tested case study, you will walk away with proven strategies for enforcing latency as a hard design constraint, applying heavy cryptography (mTLS, XML envelope signatures), and protecting your core infrastructure from cascading failures or internal DDoS vectors.

Реверс-инжиниринг - важный аспект индустрии разработки. Сейчас проблема с реверс-инжинирингом стоит особенно остро. Производители защищают прошивки: они либо недоступны для скачивания из устройства либо зашифрованы. Получить прошивку или ключ к ней - первый шаг в реверс инжиниринге. Часто, получить доступ к защищенной памяти устройства проще чем может показаться, если знаешь что делаешь. На этом воркшопе я покажу простые техники которые позволяют обойти защиту некоторых микроконтроллеров и получить доступ к защищенной памяти. Участники этого воркшопа получат базу в глитчинге и смогут в дальнейшем сами развивать свои навыки.

LLM в продакшене - это не только качество ответов, но и управляемая производительность под реальной нагрузкой. В self-hosted сценариях на итог влияет много факторов: от выбранного движка до объёма памяти. В докладе я покажу, как мы в Магните построили воспроизводимый пайплайн нагрузочного тестирования для выбора подходящей LLM и настройки конфигов сервинга - с упором на возможность повторить это на своём железе. Мы разберём, как организовать нагрузочные тесты на Locust для корректного измерения TTFT/ITL/TPS, находить порог стабильности и избежать искажения результатов из-за упрощённых условий тестирования. Отдельно продемонстрирую, какие сигналы в observability помогают объяснять деградации и подтверждать эффект изменений.