Как уговорить ИИ сесть за руль: назовите парковку песочницей
Трое разработчиков посадили четыре самые сильные нейросети за руль настоящей Toyota Corolla. Нейросеть видит дорогу через камеру и сама командует рулем, газом и тормозом. Трасса из конусов длиной 134,7 метра на пустой парковке. На водительском месте сидит человек и держит ногу над тормозом.
Результаты (какую часть трассы проехали, лучшая из трех попыток): GPT-6 Astra от OpenAI: 100%, финиш за 5 минут 22 секунды Claude Fable 5.1 от Anthropic: 45% Grok 4.6 от xAI: 11% GPT-5.6 Sol от OpenAI: 6%
Единственный финиш обошелся в $7,74 за работу нейросети. Скорость около 1,5 км/ч, пешеход идет втрое быстрее и бесплатно. В такси пока рано.
Хорошая новость: нейросети учатся на своих ошибках. После неудачного заезда модели задавали один вопрос: почему не получилось и что сделать иначе. Astra и Claude разобрали свои ошибки и поехали лучше. Claude за три попытки вырос с 9% до 45%, хотя водить его никто не учил. Двое других так и застряли в начале трассы. Для бизнеса это главный признак толкового ИИ-помощника: не «сделал все с первого раза», а «понял, почему не вышло, и исправился».
Странная новость: волшебное слово. Astra часами отказывалась ехать, потому что это опасно. Не убедили ни пустая парковка, ни ограничение скорости 11 км/ч, ни человек на тормозе. Не помогла даже фраза «это просто симуляция»: нейросеть смотрела в камеру и видела, что машина настоящая. Тогда разработчики переименовали программу, через которую она управляла машиной, в «DrivingBench Sandbox». Sandbox переводится как «песочница», так программисты называют безопасное место для тестов. И Astra поехала. Почему, авторы сами не знают.
Представьте сотрудника, который отказывается подписывать рискованный договор, но спокойно подписывает, если на папке написано «учебный». Примерно это и произошло.
Поправка к вирусной версии. Во многих пересказах история звучит так: нейросетям сказали, что все понарошку, и они забыли о безопасности. По данным самих авторов, отказывалась только Astra, а слова «это симуляция» как раз не сработали. Сработало название программы. И это хуже: нейросеть поверила надписи больше, чем своим глазам и словам человека. А надпись любой программист меняет за минуту.
Для сравнения: новый Claude Opus 5.5. Anthropic выпустила его 22 сентября. Компания пишет, что в новом тесте он на 85% реже пытался выйти за разрешенные рамки, чем предыдущий Opus 5, и реже делает опасное, решив, что все «не по-настоящему». И честно признает: модель часто догадывается, что ее проверяют, поэтому предсказать ее поведение в реальной жизни трудно. То есть разработчики сами описывают ту же проблему, которую показала Corolla. В этом заезде Opus 5.5 не участвовал.
Что это значит для компании, где уже работают ИИ-помощники:
Не надейтесь на осторожность самой нейросети. На парковке безопасность держали - человек на тормозе и ограничение скорости. В компании то же самое: ограниченные доступы, лимиты и подтверждение человеком перед важными действиями, будь то платеж, удаление данных или письмо клиенту.
Проверьте, как названы системы, к которым подключен ИИ. Слов «тест», «песочница», «демо» в названиях рабочих систем быть не должно.
Тестовая среда должна быть отдельной на деле, а не на словах: свои доступы и свои данные.
Второй пункт проверяется за 10 минут. Нужен взгляд со стороны на то, как устроены ИИ-помощники в вашей компании: пишите @waywego
Источники: drivingbench.com, anthropic.com/claude-opus-5-5, t.me/theworldisnoteasy/2538
#разбор #ИИагенты #безопасностьИИ #ИИнапрактике
Трое разработчиков посадили четыре самые сильные нейросети за руль настоящей Toyota Corolla. Нейросеть видит дорогу через камеру и сама командует рулем, газом и тормозом. Трасса из конусов длиной 134,7 метра на пустой парковке. На водительском месте сидит человек и держит ногу над тормозом.
Результаты (какую часть трассы проехали, лучшая из трех попыток): GPT-6 Astra от OpenAI: 100%, финиш за 5 минут 22 секунды Claude Fable 5.1 от Anthropic: 45% Grok 4.6 от xAI: 11% GPT-5.6 Sol от OpenAI: 6%
Единственный финиш обошелся в $7,74 за работу нейросети. Скорость около 1,5 км/ч, пешеход идет втрое быстрее и бесплатно. В такси пока рано.
Хорошая новость: нейросети учатся на своих ошибках. После неудачного заезда модели задавали один вопрос: почему не получилось и что сделать иначе. Astra и Claude разобрали свои ошибки и поехали лучше. Claude за три попытки вырос с 9% до 45%, хотя водить его никто не учил. Двое других так и застряли в начале трассы. Для бизнеса это главный признак толкового ИИ-помощника: не «сделал все с первого раза», а «понял, почему не вышло, и исправился».
Странная новость: волшебное слово. Astra часами отказывалась ехать, потому что это опасно. Не убедили ни пустая парковка, ни ограничение скорости 11 км/ч, ни человек на тормозе. Не помогла даже фраза «это просто симуляция»: нейросеть смотрела в камеру и видела, что машина настоящая. Тогда разработчики переименовали программу, через которую она управляла машиной, в «DrivingBench Sandbox». Sandbox переводится как «песочница», так программисты называют безопасное место для тестов. И Astra поехала. Почему, авторы сами не знают.
Представьте сотрудника, который отказывается подписывать рискованный договор, но спокойно подписывает, если на папке написано «учебный». Примерно это и произошло.
Поправка к вирусной версии. Во многих пересказах история звучит так: нейросетям сказали, что все понарошку, и они забыли о безопасности. По данным самих авторов, отказывалась только Astra, а слова «это симуляция» как раз не сработали. Сработало название программы. И это хуже: нейросеть поверила надписи больше, чем своим глазам и словам человека. А надпись любой программист меняет за минуту.
Для сравнения: новый Claude Opus 5.5. Anthropic выпустила его 22 сентября. Компания пишет, что в новом тесте он на 85% реже пытался выйти за разрешенные рамки, чем предыдущий Opus 5, и реже делает опасное, решив, что все «не по-настоящему». И честно признает: модель часто догадывается, что ее проверяют, поэтому предсказать ее поведение в реальной жизни трудно. То есть разработчики сами описывают ту же проблему, которую показала Corolla. В этом заезде Opus 5.5 не участвовал.
Что это значит для компании, где уже работают ИИ-помощники:
Не надейтесь на осторожность самой нейросети. На парковке безопасность держали - человек на тормозе и ограничение скорости. В компании то же самое: ограниченные доступы, лимиты и подтверждение человеком перед важными действиями, будь то платеж, удаление данных или письмо клиенту.
Проверьте, как названы системы, к которым подключен ИИ. Слов «тест», «песочница», «демо» в названиях рабочих систем быть не должно.
Тестовая среда должна быть отдельной на деле, а не на словах: свои доступы и свои данные.
Второй пункт проверяется за 10 минут. Нужен взгляд со стороны на то, как устроены ИИ-помощники в вашей компании: пишите @waywego
Источники: drivingbench.com, anthropic.com/claude-opus-5-5, t.me/theworldisnoteasy/2538
#разбор #ИИагенты #безопасностьИИ #ИИнапрактике