Как большие языковые модели проходят тест на IQ (Tracking AI)

На первой картинке — распределение результатов решения теста на IQ. Указаны средние результаты последних семи тестов

На второй картинке — результаты ChatGPT-4o на протяжении последнего года. Также на сайте публикуют задачу дня и ответы разных LLM. Под каждой задачей указан текстовый промт, при помощи которого задавали вопрос моделям

Другие наши публикации о том, как ИИ проходят тесты:
— Результаты решения теста ARC Challenge нейросетями, 2019–2025
— Политическая ориентация 24 крупнейших языковых моделей
— Как хорошо справляются с тестами DeepSeek-R1 и ChatGPT o1
— Как менялись возможности систем ИИ по распознаванию речи и изображений относительно способностей человека, 1998–2020