Искусственный интеллект превзошел человека в IQ-тестах

Журналист-исследователь в сфере AI Максим Лотт провёл IQ-тестирование LLM и выяснил, что современные модели набирают в них столько же баллов, сколько составляет средний IQ человека — 100 с отклонением в обе стороны около 15 баллов.

Научные труды указывают на прорыв: ИИ обошел человеческий средний уровень IQ. В этом помог переработанный визуальный IQ-тест Mensa, переведенный в текстовый формат, что дало ИИ, включая ChatGPT-4 и Claude 3, возможность показать высокие результаты.

Улучшение ИИ

Оптимизация функционирования ChatGPT-4 привнесла ощутимые усовершенствования: его рейтинг взлетел до отметки в 85 баллов. Это ниже среднего уровня IQ человека, но является огромным прогрессом. Особенно поражает успех Claude 3, превзошедшего средний человеческий интеллект, что является прорывом в разработках искусственного интеллекта.

Влияние факторов на результаты ИИ

Исследователь выделил важные моменты, которые могут искажать результаты оценки ИИ:

существует вероятность того, что часть теста на IQ была включена в обучающие наборы данных для моделей ИИ, что может исказить результаты;
Copilot от Microsoft, несмотря на то, что основан на GPT-4, продемонстрировал более низкую производительность по сравнению со своим предшественником;
вариативность результатов говорит о том, что даже случайный выбор ответа может иногда давать результаты, сравнимые с результатами бесплатной версии ChatGPT.