Евгений Кокуйкин на Saint HighLoad++ 2024

Атаки на AI-чат-боты и методы защиты

Нейронные сети, искусственный интеллект

Безопасность программного кода, SQL и прочие инъекции

Machine Learning

Application security

Безопасность

24 июня, 12:30, «06 Зал Зеленый»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.

Целевая аудитория

Разработчики чат-ботов на базе больших языковых моделей LLM, руководители ИБ и СТО компаний, которые начали внедрять AI.

Тезисы

Скачать презентацию Все презентации конференции

В докладе рассмотрим новые виды атак на чат-боты, использующие LLM. Разберем, как обходят safety layer моделей, как работают prompt injection и разные виды jailbreak. Разберем виды и классификации атак по разным фреймворкам. Обсудим, почему OWASP создали 3 отдельных гайда по LLM Security. На докладе будет представлен чек-лист, которым можно пользоваться перед запуском приложений в прод.

Виды атак, которые будут изучены: adversarial атаки с суффиксами, конкатенация промптов, отравление обучающей выборки, уязвимости библиотек и supply chain, уязвимости AI-фреймворков.

Евгений Кокуйкин

Raft

Евгений Кокуйкин — сооснователь Raft и руководитель лаборатории AI Security в ИТМО. Евгений занимался внедрением технологических решений в проектах Microsoft, Сбер, Diasoft. Сейчас создает решения по обеспечению безопасности генеративного ИИ.

Raft

Raft интегрируют решения с использованием Генеративного ИИ. Одно из направлений бизнеса - это разработка ИБ продуктов для Генеративных ИИ-систем.