Google предложили 1-ю научно-обоснованную систему для измерения прогресса к AGI, опираясь на когнитивную науку, а не на случайный набор бенчмарков.

Сейчас индустрия оперирует бенчмарками типа MMLU, MATH, HumanEval. Все они измеряют отдельные навыки, но не дают целостной картины.

Они говорят вот вам 10 когнитивных способностей, которые определяют общий интеллект:

•Восприятие
•Генерация
•Внимание
•Обучение
•Память
•Рассуждение
•Метакогниция
•Исполнительные функции
•Решение задач
•Социальное познание

Также дали 3-х этапный протокол, как тестировать ИИ по этим способностям, с человеком как точкой отсчёта.

Одновременно они запустили хакатон на Kaggle «Measuring progress toward AGI: Cognitive abilities» и приглашают разработать оценки для 5 способностей, где разрыв в инструментарии наибольший: обучение, метакогниция, внимание, исполнительные функции и социальное познание.

Интересно, что из этого выйдет.

Больше полезных материалов у нас на Patreon