OpenAI показала рост GPT-6 в тестах на COBOL и Fortran

Подробно

Что показали тесты OpenAI на COBOL, Fortran и Visual Basic?

В материале «Advancing coding in low-resource programming languages» OpenAI называет COBOL, Fortran и Visual Basic малоресурсными языками. Кода и документации на них для обучения моделей доступно меньше, чем на Python и JavaScript.

Последние достижения наших моделей дают более сильные возможности для создания и переноса программ на малоресурсных языках программирования, таких как COBOL, Fortran и Visual Basic.

В MultiLangBench при максимальном уровне рассуждений GPT-6 Astra, по данным OpenAI, показала по отдельным языкам такие результаты:

• COBOL: 72,1% против 10,9% у GPT-5.6 Sol;
• Fortran: 83,5% против 21,4%;
• OCaml: 85,8% против 25,6%;
• Visual Basic: 89,4% против 27,5%.

По данным разработчика, GPT-6 Astra превысила 83% на 19 языках из 20. Самым сложным остался COBOL. Модель GPT-6 Luna набрала в среднем 40,3%: COBOL - 17,1%, Fortran - 31,4%, OCaml - 34,1%, Visual Basic - 41,6%. Зато она заметно дешевле: прогон одного образца теста обошелся в среднем в $0,77 против $3,48 у GPT-5.6 Sol. OpenAI оценивает экономию примерно в 78%. Речь именно о стоимости прогона в тесте, а не о тарифе модели.

OpenAI не сообщала, что дообучала модели специально на COBOL, Fortran или Visual Basic. Подтвержден только рост результатов у новых моделей.

Как устроен бенчмарк MultiLangBench?

В MultiLangBench модель должна с нуля написать на заданном языке движок базы данных, совместимый с SQLite 3.40.1. Модель получает документацию этой версии, доступ в интернет в среде выполнения отключен.

В каждом тесте программа получает исходный файл базы данных и SQL-запрос и должна изменить базу. Затем настоящий SQLite 3.40.1 выполняет проверочный запрос. Тест засчитывается, только если результат точно совпадает с ожидаемой строкой. Сбой или выполнение дольше 60 секунд считаются провалом. Если решение написано не на заданном языке или на смеси языков, оно получает 0%.

Для бенчмарка OpenAI переработала около 24 000 из 51 000 тестов из набора SQLite TCL Tests. Для обычного запуска README рекомендует 272 теста с идентификаторами на 00, 01 или 02. Полный набор подходит для более точного измерения высоких результатов, но его использование нужно указывать отдельно. Результат описывается двумя показателями: долей пройденных тестов и стоимостью API.

Код, настройка среды и тесты выложены на GitHub под лицензией Apache-2.0.

Как OpenAI проверяла перенос кода с COBOL на Java, Python и Rust?

Во втором тесте модели переносят программы с COBOL на C++, Java, Kotlin, Python или Rust так, чтобы поведение программ не изменилось. Проверка идет по скрытым тестам: наблюдаемый вывод должен совпадать побайтово.

Миграция считается успешной, только если пройдены все тесты.

По данным OpenAI, при низком уровне рассуждений GPT-6.1 Sol справилась с 86,6% задач, а GPT-5.6 Sol при тех же настройках - с 5,4%. При этом прогон GPT-6.1 Sol стоил 61% от стоимости GPT-5.6 Sol, то есть на 39% дешевле. При более высоком уровне рассуждений GPT-6.1 Sol набрала 97,9%. Сопоставимого результата GPT-5.6 Sol для этого режима компания не привела.

Один из рисков миграции OpenAI объясняет на примере десятичной арифметики с фиксированной точкой в COBOL. Если округление явно не запрошено, лишние знаки после запятой могут просто отбрасываться. Если модель при переносе сама добавит округление, программа формально будет работать, но финансовый результат изменится.

Почему COBOL до сих пор важен для банков?

IBM со ссылкой на внешний материал оценивает, что COBOL лежит в основе более 40% систем онлайн-банкинга, поддерживает 80% очных операций с кредитными картами и обрабатывает 95% операций банкоматов. Это оценка IBM, а не данные OpenAI.

IBM также предупреждает, что перевод исходного кода - лишь часть модернизации. Нужно учитывать еще архитектуру данных, замену среды выполнения, интеграции и целостность обработки транзакций.

OpenAI делает похожую оговорку:

Применение этого к промышленному ПО по-прежнему требует экспертной проверки и тестирования на соответствие бизнес-правилам и зависимостям системы.

Можно ли доверять результатам GPT-6 в тестах на COBOL?

Все опубликованные цифры - 87,4%, 40,3%, 86,6% и 97,9% - получены самой OpenAI на тестах, которые она создала или адаптировала. На 20 октября 2026 года независимых воспроизведений не найдено. Препринта, рецензируемой статьи или доклада на конференции с полной методикой также не найдено.

Яш Тхаккер (Yash Thakker), автор explainx.ai, считает задачу с SQLite большой, но хорошо описанной: документация публична, эталоном служит настоящий SQLite, а тесты взяты из набора самого проекта. При этом автор подчеркивает:

Это цифры, которые сообщает разработчик, полученные на тестах, созданных самим разработчиком.

Кобаяси (Y Kobayashi), автор XenoSpectrum, отмечает, что OpenAI не уточнила, на каком наборе получен результат 87,4%: на рекомендуемых 272 тестах или на более широком. Для независимого сравнения, как указывает автор, нужно одинаково задавать набор тестов, язык, уровень рассуждений и способ расчета стоимости API.

Ограничений у теста на миграцию COBOL еще больше. OpenAI не раскрыла размер, происхождение и состав набора программ, а скрытые тесты не позволяют проверить результат 97,9% со стороны. В материале сказано, что результаты по каждому языку выложены на GitHub, но на момент проверки в репозитории были только README, скрипты, тесты, файл зависимостей и лицензия. Данных о проверке на закрытом коде банков, страховщиков или госорганов и о завершенных промышленных миграциях с этими моделями не найдено.

Райан Меркет (Ryan Merket), автор RuntimeWire, считает результаты прогрессом на собственных тестах OpenAI. Но, по оценке автора RuntimeWire, вопрос о безопасном применении в промышленной эксплуатации и о реальном внедрении в компаниях остается открытым.

Сколько стоят модели GPT-6 и доступен ли OpenAI API в России?

Все модели из публикации уже продаются через API: GPT-6 Astra появилась 3 сентября 2026 года, GPT-6 Luna - 22 сентября, GPT-6.1 Sol - 29 сентября. Отдельного сервиса для автоматической миграции COBOL OpenAI не анонсировала и предлагает проверять модели через API на задачах с языками, которыми пользуется конкретная команда.

Базовые цены в каталоге OpenAI API за 1 млн токенов:

• GPT-6 Astra: $10 за входные токены и $50 за выходные;
• GPT-6.1 Sol: $2 за входные и $10 за выходные;
• GPT-6 Luna: $0,10 за входные и $0,50 за выходные.

В других режимах обработки и при длинном контексте цены могут отличаться.

России нет в официальном списке стран, где поддерживается OpenAI API. В документации сказано, что за доступ к API из других стран или предоставление такого доступа аккаунт могут заблокировать или приостановить.