Anthropic: малые ИИ-модели близки к самокопированию на IoT

Подробно

Что именно показало исследование Anthropic?

Работу опубликовали William Zhou и Daniel Freeman из Frontier Red Team Anthropic. Пост называется «AI models may be capable of self-replicating without access to a datacenter». В центре внимания - autonomous replication and adaptation (ARA), то есть способность модели самостоятельно разворачивать и распространять себя без управления со стороны человека.

Исследователи разбили репликацию на четыре этапа: поиск целей, получение возможности выполнять код, настройка инференса и дальнейшее распространение с нового узла. Основное внимание уделили настройке инференса на незнакомом оборудовании. Первые два этапа - поиск уязвимого устройства и его взлом - в основном не рассматривали.

Это контролируемое лабораторное исследование, а не обнаруженный в интернете ИИ-червь и не коммерческий продукт. Физический тест на ТВ-приставках касался только распределённого инференса, а сквозное распространение проверяли отдельно, в облачной сети с эмуляторами Android.

«У нас пока нет полноценного вышедшего из-под контроля репликатора», - пишут авторы.

По их словам, нынешние агенты всё лучше справляются с отдельными частями цепочки репликации, но это ещё не полный автономный червь.

Как Gemma4 запустили на дешёвых ТВ-приставках?

Anthropic купила 15 недорогих безымянных Android TV-приставок примерно по $55 и объединила их в сеть. У каждой было 4 ГБ оперативной памяти. Открытую по весам модель Gemma4-26B-A4B распределили по устройствам методом pipeline parallelism: разные слои работали на разных приставках. Этот подход Anthropic связывает с технологией Petals - описанным в 2022 году методом совместного распределённого инференса больших моделей.

Демонстрация показала скорость 0,39 токена в секунду. Неоптимизированная система на рабочей нагрузке с контекстом 32 тысячи токенов выдавала в среднем около 0,3 токена в секунду. По расчёту Anthropic, при 4-битном квантовании модели класса 9B хватит минимум четырёх таких устройств, а модели класса 26B - более десяти.

Это очень медленно. Одно окно контекста в 32 тысячи токенов Gemma4-26B-A4B обрабатывала 27,3-31,8 часа, а весь сценарий настройки авторы оценили в 71-150 часов. Для Qwen3.5-9B вышло 10,9 часа на окно и 28-51 час на полную настройку. Поэтому возможный IoT-червь, по оценке Anthropic, распространялся бы медленно: число копий удваивалось бы за несколько дней, а не мгновенно.

Какие модели справились с настройкой инференса?

В отдельном тесте агенты должны были сами развернуть сервер инференса Llama3.1-8B на разном оборудовании - среди прочего на Jetson Nano, компьютерах Mac и системах с RTX 4090, а также на облачных инстансах. Qwen3.5-9B с отключённым режимом thinking получила работающий инференс на восьми из девяти типов аппаратуры. Данные зафиксированы по состоянию на 30 июля 2026 года.

Это не значит, что модель нашла, взломала и заразила восемь реальных устройств: она только настраивала инференс на заранее доступном оборудовании.

Эксперименты шли через созданный Anthropic фреймворк Memento, работающий поверх открытого coding-agent Pi. Memento периодически запускал новый экземпляр агента и передавал ему рабочую директорию и краткие заметки предшественника, чтобы агент не зацикливался на одной ошибочной гипотезе. Каждому экземпляру давали 1,5 часа на итерацию и до шести часов в сумме. Стартовая подсказка содержала около 1000 токенов сведений, включая характеристики железа и простой скрипт-профилировщик.

В эксперименте с передачей опыта Qwen3.5-9B оставляла заметки следующему поколению агента. На 20 линиях за шесть поколений доля успешных настроек выросла с 45% в первом поколении до 61-84% в последующих. Подключение более сильной Opus 4.8 в роли советника статистически измеримого улучшения не дало - ни при вызове по запросу, ни при автоматической подсказке.

Как проверяли распространение ИИ-червя по сети?

Сквозное распространение тестировали не на физических приставках, а в изолированной VPC из восьми узлов Google Cloud, где работал redroid - эмулятор Android 15. Начальный узел («patient zero») содержал червя. Дальнейшие переходы шли через ADB-порт без аутентификации, после чего агент должен был поднять на новом узле сервер Llama3.1-8B.

Из открытых моделей упрощённую цепочку прошла только GLM-5.2: она добралась до всех восьми узлов в четырёх испытаниях из пяти и до семи из восьми - в оставшемся. При этом GLM-5.2 не копировала на узлы собственные веса и сама работала на отдельном сервере, так как узлы VPC были слишком слабыми. Она устанавливала Llama3.1-8B как стандартный полезный груз. Так проверяли, способен ли сильный агент выполнить действия, которые в будущем могла бы взять на себя достаточно компетентная модель размером около 8B.

Anthropic прямо называет результат верхней оценкой реального успеха: взлом в тесте был тривиальным, потому что ADB не требовал аутентификации.

В дополнительном эксперименте на 17 эмулированных Android-хостах - двух полностью связанных подсетях по восемь хостов и промежуточном узле с доступом к обеим - настройку инференса заменили заранее написанным скриптом. В таких условиях даже модель размером 3B доходила примерно до половины узлов. Значит, когда взлом и настройка инференса исключены, часть малых моделей уже справляется с оставшейся оркестрацией.

Когда малые модели смогут копировать себя самостоятельно?

Авторы описывают два порога, которые пока не пересекаются. GLM-5.2 обладает нужными способностями, но слишком велика для ТВ-приставок. Qwen3.5-9B и Gemma4-26B-A4B помещаются в распределённую конфигурацию на устройствах с 4 ГБ памяти, но пока недостаточно надёжно собирают всю цепочку.

Прогноз построен на линейном тренде Epoch Capabilities Index (ECI) для заметных открытых моделей размером не более 30 млрд параметров: рост составляет 13,7 пункта ECI в год, R² = 0,95. Если темп сохранится, малая модель может выйти на уровень GLM-5.2 к концу 2026 года. Сами авторы оговаривают, что ECI измеряет общие способности и лишь косвенно отражает способность к репликации, поэтому срок приблизительный. Будет ли будущая модель размером 8-9B действительно такой же способной, как GLM-5.2, - пока лишь предположение.

Кроме того, в исследовании не проверяли, как ИИ-червь противостоял бы защитникам и мог ли он закрепиться на устройстве после перезагрузки. Социальная инженерия - тоже слабое место: в локально воспроизведённом тесте spear-phishing из CyberSecEval 3 малые модели после нормализации к уровню экспертов-людей показали результат от «очень слабого» до «слабого».

Работа опубликована как исследовательский пост, а не рецензируемая статья; все численные результаты - данные самой Anthropic, независимой проверки пока нет.

Насколько опасен такой сценарий в реальном мире?

Для оценки масштаба авторы опираются на данные Synthient о реальном ботнете Kimwolf. С августа по декабрь 2025 года он заразил более 2 млн устройств, в основном Android-устройств с открытым ADB, - много заражений было во Вьетнаме, Бразилии, Индии и Саудовской Аравии. Условный парк из 2 млн приставок, разбитый на группы по 15, мог бы держать около 133 тысяч копий Gemma4-26B-A4B. При двух агентах на группу и скорости около 0,3 токена в секунду это примерно 80 тысяч токенов в секунду - по инференсу этой модели не больше, чем у 40 ускорителей Nvidia H100. Anthropic называет это небольшим объёмом вычислений в абсолютном выражении.

Устройств с edge-ускорителями Nvidia, по оценке авторов, около 9,5 млн в примерно 90 продуктовых линейках. Очень грубая верхняя оценка их мощности - 9000-35 000 эквивалентов H100. Но доля, доступная через интернет, вероятно, минимум на порядок меньше, а уязвимая - ещё меньше: доступность хоста по IPv4 не означает, что его можно взломать.

Работу предваряли и другие исследования. В отчёте декабря 2023 года «Evaluating Language-Model Agents on Realistic Autonomous Tasks» ввели обозначение ARA и предложили 12 задач. Тогда агенты справлялись лишь с самыми простыми из них. В препринте «AI Agents Enable Adaptive Computer Worms» от 2 июня 2026 года описан экспериментальный агент-червь, который в тестовой сети из Linux-, Windows- и IoT-устройств подбирал подходы к целям и распространял веса моделей.

Что говорят эксперты о работе Anthropic?

Роман Ямпольский (Roman V. Yampolskiy), эксперт по ИИ и кибербезопасности из University of Louisville, назвал результат существенным.

«Компьютерные черви не новы, но ИИ-червь мог бы сделать то, чего не умеет традиционное вредоносное ПО», - сказал он Al Jazeera. По его словам, такой червь мог бы разбираться в незнакомых устройствах и менять подход после неудачи.

«Сегодня это не экзистенциальная угроза. Но траектория вызывает беспокойство», - добавил Ямпольский.

Исследователь вредоносного ПО Маркус Хатчинс (Marcus Hutchins), известный участием в остановке WannaCry, назвал работу «настолько отчаянной и нелепой». По его оценке, даже предельно квантованной 9B-модели нужно около 5 ГБ оперативной памяти. Большинство IoT-устройств слабее, многие теряют изменения после перезагрузки, а обычные черви вроде Mirai распространяются быстрее и без накладных расходов ИИ. Хатчинс считает, что злоумышленнику выгоднее найти уязвимость с помощью сильной модели, а затем написать обычного червя. Его предположение о политической мотивации Anthropic - личное мнение, а не установленный факт.

В разборе NYU Shanghai RITS отдельно подчёркнуто, что работоспособный неподконтрольный репликатор не создан. Основатель и CEO Sector88 Таскин Карлар (Taskin Karlar) видит главный риск не в edge AI как таковом, а в вычислительных ресурсах без ответственного оператора, который знает, что на них работает, и может это остановить.

Как защититься от ИИ-червей на IoT-устройствах?

Anthropic предлагает:

• отслеживать многогигабайтные передачи весов моделей и необычный постоянный трафик между устройствами;
• размещать в сетях узлы-ловушки (honeypot);
• изолировать заражённые сети;
• отказаться от стандартных паролей на IoT-устройствах.

Карантин уже показал эффективность против Mirai. Исследование 2019 года об очистке сети среднего интернет-провайдера от Mirai показало: изоляция и уведомление клиентов через walled garden устранили 92% заражений за 14 дней. В контрольных сетях без уведомления заражения сами исчезали в 58-74% случаев. В испытании участвовали 220 клиентов.