Разработчики ИИ создают защиту от опасных алгоритмов

Американские компании создают многоуровневую защиту, которая должна выявлять опасное поведение ИИ и ограничивать его доступ к ресурсам, передает «Царьград».

Разработчики искусственного интеллекта в США создают системы экстренной защиты от алгоритмов, вышедших из-под контроля. Об этом сообщил портал Axios.

Компании могут отключить отдельные серверы, но мощные ИИ-системы работают на множестве компьютеров и платформ, поэтому единого «рубильника» для них нет. Разработчики тестируют защиту, которая выявляет подозрительное поведение, останавливает ИИ-агентов и отрезает их от ресурсов.

Исследователь Anthropic Джейкоб Коксон ушел из индустрии, заявив, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 года.

Представители OpenAI сообщили: «полностью автономных процедур отключения при серьезных проблемах». ИИ-наблюдатель должен предупреждать сотрудников об опасном поведении агентов и отключать систему в течение 30 минут после подтверждения угрозы.

Anthropic использует тандем человека и ИИ: алгоритмы отслеживают подозрительную активность и сообщают сотрудникам об ошибках. Во время последних тестов автоматизированный мониторинг распознал 50% угроз.

Подписывайтесь на канал РИАМО в МАКС.