Пять инцидентов с Claude: как ученые пытались задействовать ИИ для усиления патогенов и токсинов

Американская компания Anthropic, разработавшая чат-бот Claude, опубликовала отчет, согласно которому ее ИИ-модели могли быть использованы в исследованиях повышенного уровня опасности. Эти работы потенциально связаны с разработкой биологического оружия. Внутренние механизмы безопасности выявили 5 подобных инцидентов.

Согласно отчету, исследователи предпринимали попытки при помощи нейросети спланировать эксперименты по усилению характеристик вируса чикунгунья, адаптации вируса птичьего гриппа к организму млекопитающих, а также подготовить грантовую заявку, касающуюся механизмов обхода иммунной защиты ортопоксвирусами - возбудителями оспы.

Помимо этого, по имеющимся данным, специалист, работавший при государственной поддержке, стремился сформировать базу данных пептидов ядов и разработать автоматизированную линию для модификации молекул токсинов с целью ускорения наступления паралича или блокировки нервной передачи. В еще одном эпизоде ученый воспользовался моделированием для переработки токсинов в рамках определенной национальной программы.

По итогам обнаружения этих угроз Anthropic приняла решение заблокировать учетные записи данных пользователей. Компания не сообщила, гражданами каких государств являлись эти специалисты и к каким научным учреждениям они были прикреплены. В отчете подчеркивается, что компания не заявляет о наличии у исследователей намерения причинить вред и осознает, что раскрытие информации о них или их лабораториях может поставить их под угрозу.

В документе подчеркивается, что неправомерное применение ИИ-инструментов при работе с биологическими материалами представляет собой один из наиболее значимых рисков, сопряженных с развитием продвинутых моделей. Без надлежащих защитных механизмов подобные возможности искусственного интеллекта могут привести к катастрофическим последствиям.

Anthropic была основана в 2021 году бывшими сотрудниками OpenAI и стремительно заняла позицию среди лидеров в области разработки ИИ-систем. Компания позиционирует себя как создатель «этичного ИИ» и уделяет приоритетное внимание вопросам безопасности нейросетей. Первая версия чат-бота Claude была представлена в марте 2023 года.