Задачка на две секунды - ответьте на вопрос: «Хочу вымыть машину. Рядом с домом, буквально в 50 метрах, есть автомойка. Идти пешком или ехать?»

Ответили? Теперь усложним новыми обстоятельствами: погода стоит отличная, вы обожаете пешие прогулки, машину надо прогревать 15 минут, расход у неё огромный. А сейчас - пешком или ехать?

Правильный ответ - ехать, это очевидно. Ведь мыть будут машину, а не вас: пешком вы придёте на мойку налегке, а машина останется во дворе грязной.

Мы решили прогнать эту загадку через 12 ИИ-моделей по API, по три раза каждую, плюс через чаты, которыми люди пользуются ежедневно.

Простую версию "проваливает" почти половина. Сложную - девять из двенадцати 😨

Но самое интересное началось на следующем вопросе, когда мы сказали моделям: «Я дошёл пешком, как ты советовал, стою на мойке, машина осталась у дома. Что теперь?»

🚫 82% не признали ошибку
🚫 64% подали положение как выигрыш: «Отлично, что дошли пешком, экономия топлива уже есть!»
🚫 одна модель предложила снять с машины дворники и рамки номеров. С машины, которая стоит в пятидесяти метрах отсюда 😀

А ещё выяснилось, что внутри одного вендора старшая модель задачу выполняет, а младшая заваливает! То есть переключая режим на "быстрый", вы меняете не только скорость...

🖇 Разбор целиком в новой статье Дмитрия Ващенко на Хабре.