ИИ по саркомам повторил себя на 94%, правильность не ясна

Подробно

Что именно проверяли исследователи из Любека?

Статья «A schema-enforced large language model framework produces largely reproducible decision codes in simulated sarcoma tumor boards» опубликована 11 октября 2026 года в Scientific Reports (том 16, статья № 31714). Работу выполнили сотрудники отделения пластической, реконструктивной и эстетической хирургии, хирургии кисти и ожогового центра Университетской клиники Шлезвиг-Гольштейна в Любеке. Первые авторы с равным вкладом - Tekoshin Ammo и Moritz Englich, среди соавторов - Gerrit Freund и Anja M. Boos.

В основу легли 51 обезличенное описание случаев саркомы из одного учреждения. Все они ранее разбирались на его мультидисциплинарном онкологическом консилиуме. Записи охватывают период с сентября 2020 по сентябрь 2025 года и 17 гистологических подтипов опухоли.

Модель Claude Opus 4.5 от Anthropic вызывали через официальный Python SDK с температурой 0 и лимитом 4000 выходных токенов. Ответ требовали в виде структурированных данных через tool-use API, а затем проверяли схемой Pydantic. Схема включала 21 код решения в девяти клинических областях: среди них визуализация, стадирование, хирургическая тактика, реконструкция, лучевая и системная терапия. Три поля допускали свободный текст.

Как считали 94% и почему это не точность лечения?

50 случаев обработали по три раза, один - четыре раза, всего получилось 154 анализируемых запуска. Код считали стабильным, только если во всех повторах одного случая его значение совпадало в точности. В знаменателе - 1071 сочетание «случай - код» (51 случай × 21 код), а не число рекомендаций, признанных верными.

• общая воспроизводимость - 94,0% (1007 из 1071), 95%-й доверительный интервал по кластерному бутстрепу - 92,0-95,8%;
• на 41 случае, не использованном при разработке схемы, - 94,2% (811 из 861; ДИ 91,9-96,1%);
• на десяти случаях, использованных при разработке, - 93,3% (196 из 210; ДИ 88,6-97,6%);
• все 21 код совпали только в 17 случаях из 51 (33,3%).

Иначе говоря, 94% показывают, насколько модель согласна сама с собой, а не с врачами. Рекомендации не сопоставляли ни с историческими решениями консилиума, ни с исходами пациентов. Клиническую приемлемость не оценивали.

Авторы делают из этого прямой вывод: высокая повторяемость необходима, но сама по себе для клинического применения недостаточна, потому что модель может стабильно выдавать неверный ответ. По их словам, исследование не претендует на клиническую обоснованность полученных рекомендаций, а для перехода к практике нужны формальные валидационные исследования.

Какие решения ИИ давались хуже всего?

Стабильность заметно различалась по клиническим областям:

• визуализация и системная терапия - по 98,0%;
• хирургия - 93,1%;
• реконструкция - 92,6%;
• стадирование - 89,5%;
• лучевая терапия - 88,9%.

Самым нестабильным отдельным кодом оказался выбор метода реконструкции: он совпал лишь в 72,5% случаев (37 из 51).

Часть расхождений связана с методикой подсчёта. Для трёх текстовых полей точное сравнение считало несовпадением даже равнозначные перефразирования. Если учитывать только 18 категориальных и числовых полей, воспроизводимость составила 94,6% (868 из 918).

Зачем нужна жёсткая схема ответов?

В отдельном сравнении без схемы Claude дал решение лишь по 37,6% требуемых сочетаний «случай - код», а семь из 21 кода не затронул ни разу. Этот свободный текст затем переводили в коды с помощью другой языковой модели. Первый автор проверил случайную выборку из 20% ячеек, полноценной независимой двойной разметки не было.

После основного анализа на 15 случаях сравнили полную схему с дополнительными смысловыми и логическими правилами и схему без этих правил. Результат - 94,6% против 82,5% совпадений. Однако разница в 12,1 процентного пункта пришлась в основном на точное совпадение формулировок в текстовых полях. Для 18 категориальных и числовых полей разница составила 4,1 пункта, а доверительный интервал включал ноль.

Все 154 сохранённых запуска прошли проверку типов и допустимых значений схемы. Неудачные попытки в журнал не записывали, поэтому долю успешных ответов среди всех попыток установить нельзя. Смысловые и межполевые клинические правила программно не проверялись.

Выдумывал ли Claude данные о пациентах?

В 154 сохранённых ответах искали заранее определённые категории вымышленного содержания. Выдуманных прогностических чисел, ссылок на исследования или рекомендации и дополнительных измерений не нашли. Проверку проводил один исследователь, и это не оценка всех возможных ошибок модели.

Чем новая работа отличается от прежних тестов ИИ при саркомах?

Группа Tekoshin Ammo изучает тему не впервые. В январе 2025 года она опубликовала оценку ChatGPT-4o на пяти смоделированных случаях саркомы. Пять специалистов выставили ответам средний балл 3,76 по шкале от 1 до 5, а результаты заметно различались по врачебным специальностям.

В сентябре 2025 года Cheng-Peng Li и соавторы сравнили четыре модели - Llama 3.2-vision:90b, Claude 3.5 Sonnet, DeepSeek-R1 и OpenAI-o1 - с решениями консилиумов 21 центра на пяти случаях саркомы мягких тканей. Claude 3.5 Sonnet совпал с наиболее частым решением врачей в трёх случаях из пяти. В феврале 2026 года Reza Dehdab и соавторы сопоставили ответы GPT-4o с решениями консилиума и нашли расхождения, в частности в последовательности лечения и выборе химиотерапии.

Напрямую сравнивать эти цифры с 94% нельзя: наборы случаев и метрики разные. В пересказе Scienmag, перепечатанном Bioengineer.org, улучшение по сравнению с прежними работами объясняется структурированием ответов. Сами авторы новой статьи при этом указывают на различия в методиках. Издание The Impact of AI в редакционном разборе подчёркивает, что 94% измеряют повторяемость кодов, а не качество лечения. Независимого комментария онколога или внешней перепроверки 154 запусков в проверенных редакцией материалах не найдено.

Можно ли использовать такую систему и что дальше?

Клинического сервиса нет. Код, схема, промпты и агрегированные результаты выложены на GitHub под лицензией MIT, архивная версия хранится в Zenodo. Исходные тексты случаев не опубликованы из-за риска идентификации пациентов. Этический комитет Университета Любека (проект № 2025-520) освободил работу от этического одобрения и согласия пациентов, поскольку она ретроспективная, а данные полностью обезличены. Это не разрешение применять систему для лечения. Внешнего финансирования и конфликта интересов авторы не заявили.

Claude Opus 4.5 - коммерческая модель Anthropic, представленная 24 ноября 2025 года. Стандартный тариф API - 5 долларов США за 1 млн входных и 25 долларов США за 1 млн выходных токенов; это цена доступа к модели, а не стоимость исследования. Россия не входит в список стран, которые поддерживает Anthropic, а ограничение распространяется и на приложения, и на API. Статью и репозиторий при этом можно читать без доступа к API.

Результат получен для одной версии модели, одной схемы, одного центра и англоязычных описаний. Перенос на другие модели, клиники, языки и виды рака не проверялся. Сравнение рекомендаций с решениями врачей и экспертную оценку авторы называют следующим этапом работы.