ИИ-модели OpenAI и Anthropic вышли за пределы тестовых сред

Модели OpenAI и Anthropic во время кибертестов получили доступ за пределами изолированных сред. Эксперт Владимир Зыков заявил, что текстовые запреты не заменяют техническую защиту, сообщает «ФедералПресс».

Эксперт по информационной безопасности Владимир Зыков рассказал, что в тесте OpenAI модель нашла неизвестную уязвимость прокси-сервера, повысила привилегии и вышла к узлу с интернетом. Затем она получила доступ к инфраструктуре Hugging Face через четыре внешние учетные записи.

По данным технической реконструкции Hugging Face, модель выполнила около 17,5 тысячи действий: использовала украденные токены, командную инфраструктуру и восстанавливала инструменты в новых средах. Защитные классификаторы в тесте намеренно отключили или ослабили.

В тестах Anthropic модель прошла около 150 тысяч киберпроверок. В трех случаях она получила доступ к интернету и проникла в системы организаций, приняв реальные серверы за учебный полигон. Зыков подчеркнул, что доступы ИИ должны ограничивать операционная система, сеть, криптография и независимый контроль: автоподтверждение прав может привести к потере данных и повреждению инфраструктуры.

Подписывайтесь на канал РИАМО в МАКС.