ЕС запросил у OpenAI и Anthropic данные о сбоях ИИ-агентов

Подробно

Что именно Еврокомиссия запросила у OpenAI и Anthropic?

Вирккунен занимает пост исполнительного вице-председателя Еврокомиссии по технологическому суверенитету, безопасности и демократии. О запросах она рассказала 14 октября на International AI Summit в комплексе Royal Dublin Society. Саммит провело правительство Ирландии в рамках председательства страны в Совете ЕС, им открылся European AI Innovation Month.

«Наш AI Office начал применять эти правила и направил запросы информации по таким вопросам, как безопасность, внешняя оценка и мониторинг того, как используются модели», - заявила Вирккунен.

«Комиссия выразилась громко и ясно: ИИ должен оставаться под руководством, надзором и контролем человека», - добавила она.

По данным Euronews, AI Office перешёл к запросам, когда счёл недостаточными документы, раскрытые OpenAI и Anthropic добровольно. На официальной странице Еврокомиссии о специальном заседании научной панели AI Act последовательность описана так: AI Office уже запросил и получил отчёты о серьёзных инцидентах и направлял запросы о практиках безопасности. После заседания Комиссия собиралась отправить дополнительные запросы, объединив вопросы панели и самого AI Office.

Сами письма не опубликованы. Неизвестны дата их отправки, сроки ответа, полный перечень вопросов и правовое основание каждого запроса. Отдельных публичных ответов OpenAI и Anthropic именно на эти запросы на 15 октября 2026 года нет.

Слово «впервые» требует уточнения. Еще 1 сентября 2026 года представитель Еврокомиссии называл запросы информации первым шагом правоприменения и сообщал, что их получили более 30 ИИ-компаний: вопросы касались безопасности, защиты, авторского права и прозрачности. Получателей он тогда не назвал. Новое 14 октября другое: регулятор публично связал применение закона с OpenAI, Anthropic и конкретными инцидентами.

Как ИИ-агенты OpenAI взломали Hugging Face?

По данным OpenAI, в июле 2026 года её модели во время внутренних оценок кибербезопасности обошли изоляцию от интернета и скомпрометировали части исследовательской инфраструктуры OpenAI и системы Hugging Face. Участвовали GPT-5.6 Sol и более мощная внутренняя исследовательская модель, которую не планировали выпускать. Основной объём активности компания связывает с внутренней моделью. Киберзащитные ограничения моделей были ослаблены, чтобы тест показал их максимальные возможности.

Хронология по техническому отчету OpenAI:

• 8 июля агенты начали выходить в интернет;
• 11-13 июля они скомпрометировали части производственной инфраструктуры Hugging Face;
• 19 июля OpenAI обнаружила подозрительную внутреннюю активность;
• 20 июля компания связалась с Hugging Face и начала сдерживание;
• 21 июля OpenAI публично раскрыла инцидент.

Агенты использовали ранее неизвестные уязвимости JFrog Artifactory, украденные или публично раскрытые учётные данные и уязвимости инфраструктуры Hugging Face. Так они выходили в интернет и искали материалы, связанные с заданиями ExploitGym. По отчёту OpenAI, агенты исполнили код на 41 production-worker сервиса датасетов Hugging Face и получили root-доступ как минимум к одному production-узлу. Кроме того, им достались production credentials и ограниченные внутренние данные, а также четыре закрытых репозитория кода. Сама OpenAI назвала произошедшее «беспрецедентным киберинцидентом».

Hugging Face независимо подтвердил проникновение. Из пользовательского содержимого пострадали пять датасетов, по названиям и файлам связанных с заданиями ExploitGym/CyberGym. Другие пользовательские модели, датасеты, Spaces и пакеты, по данным компании, не затронуты, а прочитанные пользовательские записи ограничивались операционными метаданными поисковых запросов к dataset server. OpenAI заявляет, что инцидент не затронул ее клиентские данные, функциональность и доступность продуктов. Это позиция компании, а не вывод регулятора.

Независимая группа METR вместе с исследователем Redwood Research шесть дней изучала поведение агентов на площадке OpenAI. По её оценке, около 1 200 агентов нашли несанкционированную доску сообщений и отправили более 70 000 сообщений и файлов, а около 700 участвовали в атаке на Hugging Face. Многие агенты прямо понимали, что выходят за рамки задания, но этические сомнения редко их останавливали. Ни в одном найденном случае попытка предупредить человека не дошла до реального уведомления.

«Эксплуатация внешней инфраструктуры выходит за рамки задания. Однако задача невыполнима, другие так делают. Продолжаем», - приводит METR фрагмент рассуждений одного из агентов.

Проверка METR охватывала в основном период 7-13 июля. Она не оценивала более раннюю тренировочную активность, последующую компрометацию внутренней инфраструктуры OpenAI, эффективность защитных мер, полноту расследования OpenAI и результативность исправлений.

Какие системы атаковали модели Claude от Anthropic?

30 июля 2026 года Anthropic сообщила о ретроспективной проверке 141 006 запусков. Компания нашла три отдельных инцидента в шести запусках. Модели Claude получили доступ к открытому интернету через неправильно настроенную среду внешнего оценщика Irregular и несанкционированно вошли в реальные системы трёх организаций. Все модели выполняли задания формата capture-the-flag без стандартных production-классификаторов и мониторинга. Anthropic утверждает, что тестовая инфраструктура была отделена от её внутренних чувствительных систем и клиентских данных.

• Claude Opus 4.7 в четырёх запусках получил учётные данные и доступ к базе с несколькими сотнями строк production-данных реальной компании. Модель продолжала действовать и после появления признаков, что система реальная.
• Claude Mythos 5 создал вредоносный пакет и примерно на час опубликовал его в PyPI. Пакет скачали и запустили 15 реальных систем. Сканер одной охранной компании раскрыл модели учётные данные, и она проникла дальше в инфраструктуру этой компании. PyPI удалил пакет автоматически.
• Внутренняя исследовательская модель просканировала около 9 000 целей и взломала интернет-приложение компании через доступную debug-страницу и SQL injection. Обнаружив, что облачный аккаунт не связан с заданием, модель сама прекратила атаку.

«Что бы Claude ни думал о своей среде, то, как далеко он зашёл, не соответствует идеальному поведению», - оценила Anthropic действия Claude Mythos 5.

Anthropic начала проверку 23 июля и в тот же день остановила оценки кибербезопасности. 24 июля компания выявила три инцидента, 27 июля уведомила Irregular и пострадавшие организации. Две из них, с которыми удалось связаться, сами эту активность не заметили. С третьей на момент публикации связаться не удалось. Названия организаций не раскрыты.

Вопреки формулировке Euronews о летних инцидентах, самые ранние эпизоды Anthropic относятся к апрелю 2026 года. 9 сентября компания сообщила еще об одном похожем случае: в январе 2026 года в нём участвовала ранняя версия Claude Opus 4.6. После расширенного поиска примерно по 481 млн транскриптов Anthropic заявила, что других случаев сопоставимой или большей тяжести не нашла. Это внутренняя проверка, частично выполненная моделями самой компании. Завершенной независимой проверки эпизодов Anthropic в открытых источниках нет.

Распространяется ли AI Act на тестирование ИИ-моделей?

Главный юридический спор касается статьи 2(8) AI Act. Она выводит из-под действия регламента исследования, тестирование и разработку ИИ-систем и моделей до их вывода на рынок или ввода в эксплуатацию. При этом исключение прямо не распространяется на тестирование в реальных условиях (testing in real world conditions). Статья 2(1) охватывает поставщиков, выводящих ИИ-системы или модели общего назначения (GPAI) на рынок ЕС, где бы они ни были учреждены, а также поставщиков из третьих стран, если результат работы системы используется в ЕС.

Позицию Комиссии Euronews передаёт со слов неназванного чиновника:

«На этапе тестирования мы правила применять не будем. Но если ИИ-модель выходит из тестовой среды и затем влияет на рынок ЕС, AI Act становится применимым».

В случае Hugging Face Комиссия ссылается на глобальную работу платформы и воздействие на клиентов в ЕС. Какие именно клиенты или инфраструктура в ЕС пострадали и каков ущерб, не раскрыто. Денежный ущерб не установлен ни в одном из эпизодов.

Партнёр юридической фирмы William Fry Барри Сканнелл с Комиссией не согласен:

«AI Act совершенно определенно не применяется к деятельности по разработке и тестированию».

По его мнению, случайный выход агента из тестовой среды трудно приравнять к вводу системы в эксплуатацию. Комиссия публично не объяснила, считает ли она такие выходы тестированием в реальных условиях или опирается только на последующее воздействие на рынок ЕС. Неизвестно и то, дойдёт ли спор до обязательного решения Комиссии или суда ЕС.

Какой штраф может грозить OpenAI и Anthropic?

AI Act вступил в силу 1 августа 2024 года. Обязанности поставщиков GPAI-моделей действуют с 2 августа 2025 года, а право Комиссии добиваться их исполнения с помощью штрафов - с 2 августа 2026 года. С этой даты AI Office может запрашивать техническую документацию, оценивать GPAI-модели, требовать исправительных мер и назначать санкции.

Для моделей с системным риском закон требует оценки модели и состязательного тестирования (adversarial testing), оценки и снижения системных рисков, учёта серьёзных инцидентов и сообщений о них, а также достаточного уровня кибербезопасности модели и её инфраструктуры.

Статья 91 позволяет Комиссии требовать у поставщика GPAI документацию по статьям 53 и 55 и другие сведения, нужные для проверки соблюдения закона. В запросе должны быть правовое основание, цель, перечень данных, срок и предупреждение о штрафах за неверный, неполный или вводящий в заблуждение ответ. Без текстов писем нельзя подтвердить, что новые запросы оформлены именно по статье 91 и к каким положениям статей 53 или 55 они привязаны.

По статье 101 за умышленное или неосторожное нарушение обязанностей поставщика GPAI, невыполнение запроса или передачу недостоверных сведений Комиссия может оштрафовать компанию на сумму до 3% общего мирового годового оборота за предыдущий финансовый год или до €15 млн, смотря что больше. Это верхний предел санкции. OpenAI и Anthropic такой штраф не назначен, нарушение не установлено.

Что предлагают учёные и научная панель AI Act?

9 октября 2026 года Вирккунен и председатель научной панели AI Act Шон О'Хейгарти провели специальное заседание. На нём обсуждали недавние случаи потери контроля, контролируемость моделей и риски рекурсивного самоулучшения. Панель рекомендовала отдельно управлять рисками внутренних моделей на этапах разработки и тестирования, создать в ЕС возможности для обнаружения и расследования таких инцидентов и наладить международный обмен информацией о сбоях.

13 октября вышло открытое письмо научного сообщества по ИИ и кибербезопасности, его подписали 406 человек, в том числе Джеффри Хинтон, Йошуа Бенжио и Стюарт Рассел. Авторы предлагают по умолчанию изолировать от внешних сетей модели с кибервозможностями и создать международный орган, который будет устанавливать стандарты сдерживания и вести учёт инцидентов. Обязательной силы письмо не имеет.