OpenAI научила GPT-6 писать на COBOL и Fortran, на которых держатся банки

Редкие языки программирования давно остаются слабым местом языковых моделей. Кода на COBOL и Fortran в интернете мало, модели учились на нём хуже и путались в его правилах. А на этих языках работают системы, которые нельзя просто выключить. OpenAI собрала два новых теста, чтобы измерить прогресс на таком коде, и опубликовала результаты своих моделей.

Округление, которое меняет финансовый результат

OpenAI объясняет трудность COBOL на простом примере. В арифметике с фиксированной точкой COBOL отбрасывает лишние знаки после запятой, если программист не попросил округлить. Переписанная программа, которая округляет, запустится без единой ошибки и выдаст другие финансовые результаты. Такую разницу видно только при точном сравнении вывода старой и новой программы.

По данным OpenAI, на COBOL работают больше 40% систем онлайн-банкинга, 80% операций по картам в магазинах и 95% операций в банкоматах. Fortran считает прогнозы погоды и анализ безопасности ядерных реакторов. Ошибка при переносе такого кода стоит дорого.

MultiLangBench — база данных на 20 языках

Первый тест OpenAI называется MultiLangBench. Модель с нуля пишет движок базы данных, совместимый с SQLite, на заданном языке. Проверки взяты из собственного набора тестов SQLite, результат сверяется с эталонной реализацией. В тест вошли 20 языков, от C и Python до COBOL, Fortran, Visual Basic и OCaml.

Доля пройденных тестов у GPT-6 Astra на максимальном уровне рассуждений в сравнении с GPT-5 .6 Sol:

• в среднем — 87,4% против 26,8%;
• COBOL — 72,1% против 10,9%;
• Fortran — 83,5% против 21,4%;
• Visual Basic — 89,4% против 27,5%;
• OCaml — 85,8% против 25,6%.

GPT-6 Astra набирает больше 83% в 19 языках из 20. COBOL остаётся самым трудным. Младшая GPT-6 Luna даёт в среднем 40,3% и обходит GPT-5.6 Sol на каждом языке. Один пример обходится Luna примерно в 0,77 доллара против 3,48 у Sol, по расчёту OpenAI это на 78% дешевле.

GPT-6.1 Sol переносит COBOL на Java и Python

Второй тест ближе к реальной работе. GPT-6.1 Sol, вышедшая в конце сентября, переносит программы с COBOL на C++, Java, Kotlin, Python или Rust. Скрытые тесты требуют побайтового совпадения вывода со старой программой. Перенос засчитывается, только если прошли все тесты.

программа на COBOL → перенос на C++, Java, Kotlin, Python или Rust → скрытые тесты → побайтовое совпадение вывода

На низком уровне рассуждений GPT-6.1 Sol справляется в 86,6% случаев. GPT-5.6 Sol на той же настройке давала 5,4%. Обходится новая модель на 39% дешевле. На высоком уровне рассуждений точность GPT-6.1 Sol доходит до 97,9%, и OpenAI называет тест почти исчерпанным. Модели доступны через API для задач программирования.

Специалист по COBOL всё ещё нужен

OpenAI сама оговаривается, что перенос COBOL в рабочую систему по-прежнему требует проверки специалистом. Нужны и тесты на бизнес-правилах и связях с другими системами. Стоимость в MultiLangBench указана по оценке компании. Оба теста придумала и провела сама OpenAI, поэтому независимую картину покажут только прогоны других лабораторий. Набор MultiLangBench с тестами и результатами по языкам открыт на GitHub, повторить замер может любая команда.

Перенос старых систем на ИИ становится реальнее

Компаниям со старыми системами на COBOL и Fortran результаты OpenAI дают повод пересчитать проекты миграции. Если модель переносит программу с побайтовым совпадением вывода, работа специалиста смещается от переписывания к проверке. Начинать разумно с небольших изолированных модулей, где вывод легко сравнить со старой версией.

Нехватка обучающего кода перестала быть приговором

Долго считалось, что модель хорошо пишет только на языках, которых много в интернете. Рост GPT-6 Astra с 11% до 72% на COBOL за одно поколение показывает, что этот разрыв закрывается быстрее ожиданий. Главный вопрос теперь к заказчикам — готовы ли банки доверить модели код, через который проходят деньги. Ответ на него дадут первые публичные истории миграции.