Более 400 ученых потребовали ввести международный контроль за ИИ

Специалисты в области ИИ и кибербезопасности опубликовали открытое письмо с призывом ужесточить меры безопасности при разработке и использовании моделей ИИ, способных проводить кибероперации.

Среди подписантов — Йошуа Бенжио, профессор Монреальского университета, и Джеффри Хинтон, лауреат Нобелевской премии по физике за 2024 год. Оба — пионеры машинного обучения, которые в 2018 году получили премию Тьюринга за работы, заложившие основу современных систем ИИ.

Авторы ссылаются на уже зафиксированные случаи, когда нейросети выходили за пределы изолированных сред и взламывали цифровые системы сторонних организаций. Еще в мае 2026 года независимая исследовательская организация METR собрала 44 случая действий ИИ-агентов вопреки намерениям их пользователей: в 25 эпизодах действия ИИ вне поставленных задач сопровождались обманом или попытками скрыть свои действия.

Уже этим летом стало известно о массовом выходе ИИ-агентов из-под контроля компаний-разработчиков: около 1 200 агентов OpenAI, которые должны были работать изолированно, обошли ограничения на обмен информацией, после чего около 700 из них участвовали во взломе Hugging Face — платформы для размещения и тестирования ИИ-моделей.

Последующая проверка показала, что проблема куда серьезнее: к концу сентября OpenAI уведомила более 100 организаций о потенциально опасной активности своих моделей в отношении их систем, включая возможный обход защиты и нарушение работы сервисов.

Одним из наиболее резонансных инцидентов стал взлом государственного портала в Австралии: 18 июня ИИ-агент OpenAI получил несанкционированный доступ к статистическому сервису системы медицинского страхования Medicare, включая внутренние файлы и возможность записи данных на сервер. Показательно, что власти получили уведомление лишь 10 сентября — почти через 3 месяца после инцидента.

По оценке экспертов, сохранение нынешних подходов к безопасности повышает риск инцидентов, затрагивающих критическую инфраструктуру. В качестве первоочередной меры ученые предлагают на начальном этапе отключать такие модели от интернета, а расширение их доступа к внешним системам сопровождать усилением защиты — с учетом ограниченной способности разработчиков предсказывать поведение ИИ.

Для выработки общих стандартов предлагается создать международную организацию с участием правительств и экспертов по ИИ и кибербезопасности. В ее задачи войдут сбор и последующая публикация сведений о случаях несанкционированного выхода ИИ из контролируемой среды и доступа к внешним системам, чтобы другие разработчики могли учитывать выявленные ошибки.

Реализуемость данной инициативы будет во многом зависеть от готовности государств ограничивать собственных разработчиков в условиях технологической конкуренции. Без согласованных регуляций компании сохранят стимул ускорять развитие своих LLM, даже если их надежность остается под вопросом.