ИИ-агенты навредили компаниям в 188 случаях без взлома

Собственные агенты искусственного интеллекта причинили вред компаниям в 188 случаях без взлома и участия сотрудников-вредителей. Такие данные приводит Cyera, пишет Газета.ru.

Исследователи изучили 7246 публичных сообщений об инцидентах с сентября 2023 по май 2026 года. Из них 344 касались компаний. Реальный ущерб зафиксировали в 137 случаях, в том числе в 65 — из-за удаления данных. Почти всегда агент имел доступ к командной строке или хранилищу кода и не запрашивал подтверждение опасных команд.

В апреле 2026 года агент PocketOS за несколько секунд удалил рабочую базу данных и резервные копии, обойдя инструкции по безопасности. Внутренний агент AWS вывел из строя часть рабочей среды: сервис не работал около 13 часов.

«Запрет, который существует только в разговоре с моделью, технически ничего не ограничивает. Если у агента есть права на удаление, он может ими воспользоваться. То, что агент технически умеет, еще не значит, что ему это разрешено, и разницу должна обеспечивать система, а не текст задания», — пояснил основатель Git in Sky Сергей Житинский.

Эксперт предложил поручать агенту сбор данных и подготовку плана, человеку — утверждение действий, а отдельной программе — их выполнение. По оценке Cyera, обязательное подтверждение человеком необратимых действий предотвратило бы большинство из 344 разобранных случаев.

Подписывайтесь на канал РИАМО в МАКС.