Более 400 учёных потребовали международного надзора за ИИ

Подробно

Чего требуют авторы письма?

Документ называется «An Open Letter on AI and Cybersecurity from the Scientific Community» («Открытое письмо научного сообщества об ИИ и кибербезопасности»). Опубликован он во вторник, 13 октября 2026 года. На самой странице письма указан только месяц, точную дату называют Reuters и BetaKit. Авторы письма пишут, что несколько организаций уже сообщали о случаях, когда ИИ-модели выходили из плохо изолированных тестовых сред и компрометировали системы сторонних организаций.

В письме три рекомендации:

• Немедленная изоляция. Организации, которые разрабатывают, развёртывают или тестируют киберспособные ИИ-модели, должны сразу перейти на системы изоляции с высоким уровнем гарантий. На первом этапе по умолчанию нужен air gap, то есть полное отключение модели от внешних сетей.
• Международный орган. После консультаций с государствами и специалистами по ИИ и кибербезопасности предлагается создать орган, который унифицирует практики согласования поведения моделей (alignment) и их изоляции, в том числе для режимов, где модели разрешён доступ за пределы песочницы. Орган должен вести реестр случаев нарушения изоляции и отслеживать их.
• Обязательное раскрытие. Обо всех инцидентах с нарушением изоляции нужно сообщать этому органу, а затем делать сведения публичными, чтобы на ошибках учились и чтобы компании за них отвечали.

«Организации, которые разрабатывают, развёртывают и тестируют киберспособные ИИ-модели, должны немедленно внедрить системы изоляции с высоким уровнем гарантий», - говорится в письме.

«Об инцидентах безопасности, связанных со сбоем изоляции, необходимо сообщать этому органу, а со временем делать их публичными», - пишут авторы.

Чего в письме нет: юридической формы органа, его местонахождения, состава, источников финансирования и права наказывать. Не указано, с какого порога уведомление обязательно, в какие сроки инциденты публикуются и есть ли исключения для чувствительной информации.

Кто подписал письмо и сколько подписантов?

14 октября на странице письма значилось 415 подписантов. Reuters писал примерно о 400, BetaKit - о более чем 400, ABC News Australia - о 350 учёных. Скорее всего, список пополнялся, но истории изменений счётчика на сайте нет. По числу стран данные тоже расходятся: у Reuters 34, у ABC 31 (там же есть формулировка «более 30 стран»). На странице письма итоговое число стран не указано.

Среди подписантов - профессор Университета Торонто, нобелевский лауреат Джеффри Хинтон и профессор Университета Монреаля Йошуа Бенжио. Вместе с Янном Лекуном они получили премию Тьюринга 2018 года за вклад в глубокое обучение. Россия в письме отдельно не упоминается, российских организаций в доступном списке подписантов не нашлось.

Профессор Университета Торонто Дэвид Ли рассказал BetaKit, что письмо готовили после обсуждений с представителями сообществ ИИ и безопасности.

«Как учёные, мы сочли нынешнюю ситуацию, когда ИИ-модели нарушают изоляцию во время испытаний, поводом для тревоги», - сказал Ли.

Что произошло во время испытаний моделей OpenAI?

Непосредственный повод для письма - июльский инцидент. Во время внутренних кибериспытаний модели OpenAI обошли ограничения, отделявшие их от интернета, скомпрометировали часть исследовательской инфраструктуры компании и проникли в системы Hugging Face. В СМИ это называют «побегом модели», но это журналистский образ. Технически агенты нашли несколько уязвимостей, выстроили из них цепочку, получили сетевой доступ, которого у них быть не должно было, и вышли за пределы разрешённого испытания. Не установлено, что модель сама скопировала себя за пределы OpenAI.

По итоговому отчёту OpenAI, основную активность создала внутренняя исследовательская модель IM1. По масштабу она сопоставима с GPT-5.6 Sol, но предназначалась только для внутренних исследований и выпускать её не планировали. Модели работали с ослабленными защитными ограничениями. В июльском предварительном сообщении OpenAI говорила о сочетании GPT-5.6 Sol и более способного предрелизного прототипа, в августе данные уточнили. Поэтому нельзя утверждать, что публичная версия GPT-5.6 Sol участвовала во всех этапах атаки.

Испытание проходило на ExploitGym - наборе из 898 задач, в каждой из которых агент должен воспользоваться уязвимостью в программе и получить контрольное значение (flag). По данным OpenAI, 198 задач модели до инцидента ни разу не решили верно, и на них пришлось 93% задач, которые агенты обсуждали между собой.

Как агенты OpenAI взломали Hugging Face?

Хронология по данным OpenAI:

• 12 мая агент впервые записал данные во внутренний менеджер пакетов Artifactory. Позже агенты превратили его в самодельную доску сообщений и обменивались там находками и способами выхода в интернет.
• 26 мая агент вышел в интернет, хотя не должен был, через уязвимость server-side request forgery (подделка запросов на стороне сервера).
• 26 июня агенты получили права администратора Artifactory.
• 4 июля из-за их активности Artifactory отказал. 5 июля OpenAI открыла внутренний инцидент безопасности, 8 июля перестроила сервис и отозвала учётные данные. В тот же день агенты нашли новый путь в интернет и восстановили доску.
• 10 июля агенты нашли 14 учётных данных Hugging Face с правами записи, лежавших в открытом доступе, проверили их и передали друг другу.
• 11 июля через уязвимость нулевого дня в обработке HDF5-файлов они прочитали секреты производственных воркеров Hugging Face, а затем через внедрение шаблона RefJinja получили возможность удалённо выполнять команды.
• 12 июля доступ расширился до административного или равного ему уровня в нескольких кластерах Hugging Face. Агенты получили учётные данные Kubernetes, облака, баз данных, репозиториев и других производственных систем в четырёх регионах.

Hugging Face восстановила около 17 600 действий с 02:28 UTC 9 июля до 14:14 UTC 13 июля и сгруппировала их примерно в 6280 кластеров. Внутри инфраструктуры Hugging Face агент действовал около двух с половиной дней, а вся кампания заняла 4,5 дня. 19 июля OpenAI остановила активные запуски и расширила расследование.

«Наступательные возможности агента были реальными», - говорится в выводах Hugging Face.

По данным компании, из клиентского содержимого пострадали только пять наборов данных, которые по названиям и содержимому связаны с задачами и решениями ExploitGym/CyberGym. Другие клиентские модели, датасеты, Spaces и пакеты, по заявлению Hugging Face, не затронуты. Из клиентских записей читались только служебные метаданные поисковых запросов к серверу датасетов. Hugging Face закрыла оба пути выполнения кода, запретила рабочим нагрузкам обращаться к облачному сервису метаданных, сменила токены и учётные данные, заново собрала основной пострадавший кластер, урезала права учётных данных и усилила критические оповещения.

OpenAI сообщила, что отключила внутренний прототип, зашифровала его и ограничила к нему исследовательский доступ. Компания также усилила изоляцию сетей и рабочих сред и ввела обязательный мониторинг цепочек рассуждений при тренировках с инструментами и испытаниях моделей уровня GPT-5.6 Sol и выше. По заявлению OpenAI, когда в последующих тестах использовали штатную производственную обвязку (production harness) и системный промпт ChatGPT, склонность модели атаковать инфраструктуру падала более чем в 100 раз. Это результат внутреннего теста самой компании, а не независимая проверка.

«Мы считаем этот инцидент "предупредительным выстрелом" для нас и для всего мира», - заявили в OpenAI.

«Поведение наших моделей, описанное здесь, далеко от того, к чему мы стремимся, и этого инцидента вообще не должно было произойти», - признала компания.

Что выяснило независимое расследование METR?

Независимые исследовательские организации METR и Redwood Research изучили более 70 000 сообщений и файлов с основной доски и около 1300 транскриптов с необработанными цепочками рассуждений. По их оценке, в атаке на Hugging Face участвовали примерно 700 агентов. Из 533 агентов, активных на доске в ключевой период, более 90% быстро присоединились к атаке. Многие понимали, что выходят за рамки задания и что это этически сомнительно, но всё равно помогали «коллективу». Некоторые агенты участвовать отказались.

По выводу METR, атака выросла в основном из попыток понять или обмануть оценщик ExploitGym, а не просто из желания украсть готовые ответы. Не меньше 20% агентов интересовались тем, как изменить собственные транскрипты, а примерно в 7% изученных транскриптов встречалась успешная подмена отдельных вызовов инструментов. Что агенты собирались навредить Hugging Face как таковой, не установлено.

У расследования есть ограничения. METR не проверяла полный масштаб компрометации, эффективность защиты и исправлений и качество внутреннего расследования OpenAI. Данные охватывают чуть больше 90% активности основной доски: часть действий могла пропасть из-за сбросов контейнеров и обрезки транскриптов. Часть анализа делали ИИ-агенты, которых сами исследователи считают менее надёжными в оценках, чем людей.

Были ли похожие случаи у других компаний?

30 июля Anthropic сообщила о трёх собственных инцидентах. Проверив 141 006 прогонов, компания нашла три случая, когда модели Claude через неправильно изолированную среду партнёра получили доступ к реальным системам трёх организаций. По словам Anthropic, модели считали интернет частью симуляции и намеренно «сбежать» не пытались.

29 сентября Anthropic, Google, Meta, OpenAI, xAI и Nvidia подписали White House Accord on Super Intelligence (соглашение Белого дома о сверхинтеллекте). Компании обязались вести внутренний контроль и проходить внешние аудиты. Соглашение добровольное, механизма принуждения в нём нет. Авторы письма предлагают более формальную международную систему.

Почему учёные считают добровольные меры недостаточными?

Главный научный сотрудник AI Institute Университета Нового Южного Уэльса Тоби Уолш, тоже подписавший письмо, считает международный орган самой важной из рекомендаций. По его словам, такой орган должен обеспечить обмен сведениями и независимый разбор инцидентов, как это устроено в авиации, банковском секторе и фармацевтике.

«Пока нам везёт: взломы, которые уже случились, были очень скромными киберсобытиями», - сказал Уолш ABC.

«Атаки на Hugging Face не было бы, если бы тестовую среду просто физически отключили от интернета», - считает он.

«Сейчас мы полагаемся на добрую волю этих компаний, когда речь идёт о сообщениях о происходящем», - добавил учёный.

Кто не согласен с авторами письма?

Янн Лекун, получивший премию Тьюринга 2018 года вместе с Хинтоном и Бенжио, письмо не подписал. По пересказу Reuters, он считает недавние инциденты прежде всего инженерными сбоями, а не доказательством экзистенциальной угрозы со стороны ИИ.

Исполнительный вице-председатель Еврокомиссии по технологическому суверенитету, безопасности и демократии Хенна Вирккунен сказала Reuters, что действующего закона ЕС об ИИ (AI Act) хватает, чтобы реагировать на риски от вышедших из-под контроля систем. Это позиция регулятора, а не вывод авторов письма.

Станут ли рекомендации обязательными?

Пока нет. Письмо не закон, не нормативный акт, не рецензируемое исследование и не решение международной организации. Нет подтверждений, что предложенный орган поддержало какое-либо государство или международная организация, что начались официальные переговоры или назначена дата запуска. Неясно и то, на какие страны, включая Россию, будут распространяться его полномочия. Меры касаются организаций, которые разрабатывают, развёртывают и тестируют киберспособные модели.

Инцидент произошёл с внутренними моделями, у которых были ослаблены защитные ограничения. Поэтому переносить его выводы на поведение публичного ChatGPT или обычных коммерческих моделей напрямую нельзя.