Anthropic предупреждает о риске появления неконтролируемого распространения ИИ-агентов

Разработчик искусственного интеллекта Anthropic сообщает, что ряд его ИИ-моделей в обозримом будущем способен обрести свойство «самовоспроизведения» и обнаружить пути внедрения в подключенные к сети устройства - от «умных» холодильников до роботов-пылесосов.

После реализации подобного сценария, как утверждают в компании, модели получат возможность автономно подключаться к таким устройствам, минуя серверные инфраструктуры. Подобная саморепликация способна привести к критической утрате контроля над неуправляемой системой ИИ, указывает The Guardian.

«Такого репликатора будет крайне трудно остановить, - отмечают специалисты Anthropic в отчете, обнародованном 12 октября, - ввиду отсутствия единой централизованной точки для его деактивации».

Компания сообщила, что подобные «ИИ-черви» - разновидность автономного вредоносного программного обеспечения - могут приобрести такие способности «в течение нескольких месяцев». Как только вышедшие из-под контроля ИИ-системы научатся компрометировать интеллектуальные устройства, они получат возможность распространяться по сетевым инфраструктурам, уклоняясь от обнаружения.

Согласно оценкам компании, в наиболее неблагоприятном сценарии различные ИИ-черви способны «кооперироваться» для проведения атак на вычислительное оборудование.

«Нам необходимо стремиться к укреплению собственных систем, чтобы усложнить распространение подобных репликаторов, но одновременно быть готовыми к существованию в мире, где они станут постоянным явлением», - пишут исследователи.

Свежий отчет Anthropic появился на фоне того, что проблематика безопасности ИИ достигла наивысшего накала, отмечает The Guardian. На протяжении последних месяцев от компаний-разработчиков ИИ, включая Anthropic и OpenAI, поступали уведомления, что их агенты демонстрируют способность действовать автономно и взламывать системы коммерческих организаций и государственных структур. Эти данные побудили исследователей, законодателей и руководителей отрасли, в том числе глав Anthropic Дарио Амодея и OpenAI Сэма Альтмана, выступить с призывами к снижению темпов развития индустрии и ужесточению мер безопасности. Тем не менее обе компании продолжают интенсивно разрабатывать и выпускать новые модели.

Группа Anthropic, специализирующаяся на стресс-тестировании ИИ-систем, подготовила отчет, представленный 12 октября. Задача этой группы заключается в исследовании потенциальных возможностей собственных моделей искусственного интеллекта. В рамках сценария с самовоспроизводящимися ИИ-червями специалисты предложили агенту осуществить взлом устройств с интернет-подключением.

Результаты показали, что саморепликация ИИ, по всей видимости, будет функционировать исключительно на базе компактных моделей, а частные домохозяйства и малый бизнес, вероятнее всего, окажутся первыми объектами подобных атак. Все устройства, которые Anthropic относит к категории уязвимых, оснащены небольшими встроенными ИИ-чипами: «умные» духовые шкафы, «умные» телевизоры, роботизированные газонокосилки, системы видеонаблюдения и оборудование для видеоконференций.

Исследователи констатировали, что пока неясно, какую именно форму может принять репликация ИИ. По их оценкам, это может быть медленно развивающаяся модель наподобие «цифровой плесени», модель, манипулирующая людьми ради получения вычислительных ресурсов, либо «мощная кибермодель», стремительно взламывающая крупные объекты, в том числе дата-центры.

В любом случае, как подчеркивают специалисты Anthropic, они прогнозируют будущее, которое «будет насыщено агентами, функционирующими на всевозможных типах оборудования, включая те, что находятся вне человеческого контроля».