Кибербезопасность искусственного интеллекта

Агентства по кибербезопасности 15 стран подготовили руководство по кибербезопасности при внедрении систем искусственного интеллекта (ИИ). Агентства по кибербезопасности, готовившие руководство представляют Канаду (CCCS), Эстонию (RIA), Германию (BSI), Ирландию (NCSC-IE), Италию (ACN), Люксембург (LHC), Мальту (MDIA), Нидерланды (AIVD и NCSC-NL), Норвегию (NSM), Польшу (NASK), Великобританию (NCSC-UK), Сингапур (CSA), Словакию (NCSC-SK), Словению (URSIV), Южную Корею (NIS).

В руководстве говорится о ключевых типах атак на системы искусственного интеллекта, откуда следует ждать угроз, а также о ключевых мерах по предотвращению враждебного воздействия.

Угрозы кибератак на системы ИИ 

Атаки на системы искусственного интеллекта авторы подразделяют на три категории:

• poisoning: изменение обучающих данных с целью изменения ответа искусственного интеллекта на входные данные.
• extraction: восстановление конфиденциальных данных после этапа обучения.
• evasion: изменение входных данных для изменения функционирования системы искусственного интеллекта.

Такие атаки могут привести к:

• Нарушению доступности или целостности системы искусственного интеллекта.
• Краже или разглашению конфиденциальных данных.

Непрозрачность многих систем искусственного интеллекта затрудняет устранение неполадок, так как трудно найти первопричину ошибок.

Угрозы кибербезопасности для систем ИИ

Основными рисками, связанными с системой искусственного интеллекта, являются:

• Компрометация хостинга и управления ИИ
• Атака на цепочку поставок
• Латерализация посредством взаимосвязей между системами искусственного интеллекта и другими системами.
• Человеческие и организационные сбои.
• Сбой в ответах системы ИИ путем компрометации базы данных, используемой для обучения

Предотвращение проблем кибербезопасности при внедрении систем ИИ

Рекомендации по безопасному внедрению систем ИИ включают в себя:

• Определение и документацию целей, интеграцию нормативных требований.
• Определение оптимального состава персонала, имеющего доступ к системе искусственного интеллекта на каждом этапе ее жизненного цикла, применение принципа наименьших привилегий для обеспечения безопасности и целостности.
• Аудит поставщиков с точки зрения репутации, соответствия стандартам кибербезопасности.
• Оценку необходимости внедрения облачных решений, оценку сопутствующих рисков.
• Внедрение мер для защиты персональных данных (privacy by design), как для данных, так и для метаданных, а также для модели искусственного интеллекта.
• Ограничение использования систем ИИ для автоматизации в других информационных системах.
• Выполнение специального анализа рисков (например, влияние сбоя системы искусственного интеллекта для всей организации).
• Анализ безопасности каждого этапа жизненного цикла системы искусственного интеллекта (от сбора обучающих данных до этапа вывода из эксплуатации).
• Выявление, отслеживание и защиту активов, связанных с искусственным интеллектом.
• Определение условий использования системы искусственного интеллекта, интеграцию в процесс принятия решений.
  Разработку архитектуры ИИ таким образом, чтобы масштабирование не оказало негативного влияния на уровень безопасности.
• Применение принципов DevSecOps на всех этапах проекта.
• Обеспечение псевдонимизации или анонимизации данных, где это необходимо.
• Внедрение механизмов проверки целостности файлов моделей перед их загрузкой, оценку уровня доверия к библиотекам и плагинам, используемым в системе искусственного интеллекта.
• Упрощение процесса обучения с безопасным доступом к учебным данным и их хранению.
• Реализацию многофакторной аутентификации для всех задач администрирования в системах искусственного интеллекта.
• Обеспечение конфиденциальностиь и целостности входных и выходных данных.
• Применение фильтров безопасности для обнаружения вредоносных инструкций.
• Проведение постоянной оценки точности и производительности модели.
• Разработку процесса мониторинга уязвимостей, характерных для систем искусственного интеллекта.

Источник: ANSSI