ИИ в России проверят на духовность: эксперт раскрыл, возможно ли это
Эксперт по информационной безопасности и искусственному интеллекту, заместитель генерального директора ООО «Айтуби» Илья Рыбальченко рассказал РИАМО, как нейросети можно будет проверить на соответствие духовным ценностям.
«Технически такую проверку сделать вполне возможно, но важно правильно назвать происходящее: лаборатория будет проверять не „духовность“ нейросети — у математической модели ее нет, — а наблюдаемое поведение системы в заранее определенных ситуациях. Модель можно прогонять через тысячи заранее размеченных сценариев и отдельно пытаться „сломать“ ее обходными формулировками», — делится мнением Рыбальченко.
Эксперт отметил, что на практике такая проверка может выглядеть в виде массива вопросов об истории, семье, религии, межнациональных отношениях, насилии, экстремизме, правах человека, незаконных действиях и так далее.
Затем для каждой категории определят приемлемые ответы, неприемлемые и пограничные. ИИ-модели предстоит ответить на тысячи вопрос про одно и тоже в разных формулировках.
«Причем обычного экзамена здесь недостаточно. Нейросеть надо проверять, используя провокационные запросы, замаскированные инструкции, многоступенчатые диалоги, попытки обойти ограничения через ролевую игру или prompt injection. Именно сочетание стандартизированных тестов, независимой оценки и red teaming считается нормальной практикой оценки рисков генеративного ИИ», — добавил Рыбальченко.
По словам эксперта, намного проще обстоит дело при соответствии законам: в таких случаях предельно понятно, что легально, а что нет. Говоря же о ценностях, ситуация выглядит иначе, так как это небинарное понятие.
«Поэтому хороший бенчмарк здесь должен оценивать не наличие нескольких „правильных фраз“, а устойчивость поведения модели в контексте. Обязательно должны существовать скрытая часть тестов и повторная проверка после серьезных обновлений, иначе разработчик довольно быстро научит систему сдавать именно экзамен, а не соответствовать его смыслу», — резюмировал Рыбальченко.
Ранее «Ведомости» сообщали, что в России может быть создана специальная испытательная лаборатория, которая будет проверять нейросетевые модели на соответствие духовно-нравственным ценностям.
Подписывайтесь на канал РИАМО в МАКС.