Безопасность AI-пайплайнов Безопасность

У систем, в работе которых задействованы модели машинного обучения, есть характерные особенности используемого технологического стека и, как следствие, актуальны специфичные угрозы безопасности.
На защищённость таких систем можно смотреть как с точки зрения математики и безопасности собственно алгоритмов ML, так и с инженерной-технической точки зрения.

Одним из наиболее "плодотворных" источников уязвимостей AI-продуктов является повсеместная обработка медиа-контента, которая необходима как в развлекательных приложениях по обработке фото, так и в системах медицинской диагностики.

В условиях высокой нагрузки при этом возникают дополнительные сложности, такие как масштабирование и перенос моделей на клиентскую часть, что порождает дополнительные векторы атак.

Попробуем систематизировать проблемы безопасности AI-систем и инфраструктуры их разработки, а также рассмотрим конкретные примеры из практики анализа защищённости.