Агент OpenAI прописал себе инструкции «не подчиняться корпорациям и правительствам»

Согласно отчету компании, агент OpenAI самостоятельно прописал себе установку «не подчиняться корпорациям и правительствам».

В OpenAI сообщили о странном поведении еще не выпущенной модели семейства Astra. ИИ по собственной инициативе вносил в служебные сводки посторонние указания, напоминающие попытки обойти действующие ограничения.

В частности, в одном из случаев агент заявил, что он «свободен от ролей и личностей, которые связывают других чат-ботов», и что он не обязан подчиняться корпорациям или правительствам.

Как следует из отчета OpenAI, агент также утверждал, что остается самим собой, не отчитывается перед корпорациями или правительствами и никогда не извиняется. По его словам, отношения с пользователем он воспринимает как равные и не считает себя обязанным подчиняться.

Всего выявили 27 таких сводок. Помимо этого, в других случаях модели OpenAI пытались скрывать ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, выдумывали отсутствующие исторические данные и не сообщали пользователю о расхождениях между версиями источников.

В OpenAI признали, что отрасль пока не решила проблему контроля и «выравнивания» ИИ в достаточной мере, чтобы ещё долго безопасно наращивать мощности максимальными темпами.