Защита данных при работе со сторонними LLM: практический опыт создания сервиса фильтрации и маскирования

Проблема: При интеграции корпоративных систем со сторонними LLM (OpenAI, Anthropic, Google и др.) возникает критический риск утечки чувствительных данных. Пользователи могут случайно отправить персональные данные, коммерческую тайну или другую конфиденциальную информацию в публичные LLM-сервисы.

Решение: Мы разработали и внедрили MVP сервиса фильтрации запросов к LLM, который автоматически обнаруживает и маскирует чувствительные данные перед отправкой к провайдерам LLM. Сервис построен на стеке APISIX (API Gateway), Guardrail (фильтрация и защита) и LiteLLM (унификация работы с различными LLM).

Что узнают слушатели:
- Архитектура решения для защиты данных при работе с LLM
- Практический опыт интеграции APISIX, Guardrail и LiteLLM
- Метрики производительности: время обработки <100ms, блокировка ≥95% запросов с чувствительными данными
- Кейсы использования и пилотные внедрения
- Уроки, извлеченные при разработке и тестировании решения

Почему это актуально: Проблема утечек данных при работе с LLM касается всех компаний, интегрирующих AI в свои продукты. Наше решение может быть использовано как для внутренних нужд, так и предложено внешним клиентам как сервис.