Защищаем чувствительные данные при работе с LLM с помощью Guardrails фильтра

В докладе разберём, какие риски возникают при передаче персональных и других чувствительных данных в LLM и почему одного закрытого контура может быть недостаточно для их защиты. Покажем, как устроен Guardrails Filter: как он обнаруживает данные в запросах и ответах, маскирует их перед отправкой в модель и при необходимости восстанавливает в итоговом ответе. Рассмотрим архитектуру решения в Foundation Models, включая правила на основе регулярных выражений и эвристик, механизмы маскировки и демаскировки, журналирование срабатываний и интерфейс для контроля. Также сравним классические методы фильтрации с подходами на основе LLM и покажем на реальных примерах, чем продуктовая реализация отличается от open source-версии.