Исследование от Apple: иллюзия логики мышления LLM

◯ Apple опубликовало исследование, разоблачающее LLM с цепочкой размышлений
◯ Тестировали логику на задачах типа башни Ханоя (100+ шагов) и головоломки с усложнениями
◯ Модели не решают задачи, а ищут аналогичные примеры в базе данных
◯ В решении простых задач модели портят ответ, продолжая цепочку размышлений могут случайно испортить первое верное решение
◯ Увеличение размышлений не приводит к лучшим результатам
◯ Примеры пошагового решения не помогают - в незнакомых задачах модели "теряются"
◯ LLM успешнее решают башни Ханоя, но терпят неудачу с простыми логическими загадками
◯ Полный документ исследования (pdf)

💬 Возможно исследование и подсвечивает реальные проблемы, но надо проверять на практике. Apple бодро критикует не имея свои ИИ-модели... 🙃

@EF9MERA

Источник