В Азербайджане объяснили, как выявлять опасные запросы подростков к ИИ

Случай в американском штате Массачусетс, где 17-летнего подростка обвиняют в убийстве матери и младшего брата, вновь поднял вопрос о том, можно ли заранее выявлять опасное использование искусственного интеллекта несовершеннолетними.

Эксперт Общественного объединения «Ассоциация организаций кибербезопасности Азербайджана», руководитель ИТ-департамента Университета Хазар Фарид Мусаев в комментарии Demokrat.az отметил, что речь идет об одной из наиболее серьезных проблем в сфере этики и безопасности ИИ — рисках психологической манипуляции и потенциально опасного поведения пользователей.

По его словам, с технической точки зрения снизить такие риски возможно, однако для этого необходим комплексный подход.

Одним из основных механизмов являются системы безопасности, встроенные непосредственно в модели искусственного интеллекта. Такие системы анализируют запросы пользователей и ответы модели. Если обнаруживается контент, связанный с физическим насилием, планированием преступления или причинением вреда себе, система может отказаться отвечать и перенаправить пользователя к безопасной информации.

Кроме того, разработчики ИИ используют так называемый red teaming — намеренное тестирование моделей потенциально опасными запросами. Это позволяет выявлять способы обхода ограничений безопасности, включая так называемые jailbreak-методы.

Еще одним направлением является поведенческий анализ. По словам эксперта, система может отслеживать изменения в характере общения пользователя с ИИ — частоту запросов, резкую смену тем, усиление агрессивного или тревожного эмоционального тона.

Дополнительным инструментом могут быть системы родительского контроля, которые способны анализировать поисковые запросы и переписку ребенка по потенциально опасным темам.

При этом Мусаев подчеркнул, что здесь возникает сложный вопрос баланса между безопасностью и неприкосновенностью частной жизни.

Отдельной проблемой остается определение реального намерения пользователя. Один и тот же вопрос о смерти, насилии или преступлении может быть задан в рамках учебы, литературы, истории или художественного сценария — либо с опасной целью.

Поэтому, по мнению эксперта, системе недостаточно анализировать только тему запроса. Необходимо учитывать поведенческий контекст и динамику общения.

Мусаев считает, что искусственный интеллект может сыграть важную роль в снижении рисков с помощью фильтров безопасности, поведенческой аналитики и механизмов выявления подозрительной активности. Однако одной технологии недостаточно.

В наиболее сложных случаях необходимы также человеческий контроль, психологическая оценка и участие соответствующих специалистов.