Пятничный эксперимент: тестовое задание пятилетней давности vs ChatGPT, Claude и Gemini. А так же немного про промптинг.
Откопал наше тестовое задание для фронтендеров 2020 года - симулятор лифта на 5 этажей с анимациями, очередью вызовов и всей логикой. Тогда это считалось сложным заданием на джуниора: из 10 кандидатов дай бог один сдавал что-то рабочее. Сейчас тестовые не даем, процесс собеседования сильно поменялся, но задание попалось на глаза и я подумал - а что если скормить его AI-тулам как есть?
Как есть - это прям аттач PDF-ки и "Разработай веб-приложение по этому заданию".
Закинул в ChatGPT, Claude и Gemini. Как-то справились все три, но с разным качеством. На всех - платные подписки, максимально доступная мне модель.
- ChatGPT выдал симпатичный лифт в канвасе, но он не едет. Но надо сказать что у меня подписка Plus, их Pro модель там недоступна.
- Gemini выдал уже работающий лифт в канвасе, но со странной анимацией и дизайном и учел не все требования. AI Studio как ни странно оказался не лучше, лифт не поехал.
Claude выдал единственный результат где реально работало: лифт едет, двери открывались и закрывались логично, очередь вызовов обрабатывалась правильно. Выглядит симпатично. Правда, зачем-то снижал скорость между этажами.
Все примеры выше - one-shot. Плюс, я осознанно не стал использовать Claude Code, Codex или Cursor - во-первых пятница - хотелось легкости эксперимента: закинул ТЗ как есть и смотрю что получится. Понятно что агенты с нужным тулингом справились бы куда лучше.
Зато теперь у меня есть личный бенчмарк для проверки новых кодинг-моделей - буду давать им эту задачку и смотреть что выйдет))
Само ТЗ тут, если нужно для экспериментов. Вообще, надо сказать - задача не такая тривиальная как может показаться - если начать тестить там будет очень много багов, но джуны и с этим не справлялись)
Кстати, уже после написания черновика попался на глаза свежий промптинг-гайд от Vercel: How to prompt v0, решил применить его (вот финальный промпт), и знаете что? Справились заметно лучше: ChatGPT, Gemini, Claude.
Что тут сказать? Тестовые задания практически не имеют смысла, промтинг решат, а Opus тащит в кодинге)
Откопал наше тестовое задание для фронтендеров 2020 года - симулятор лифта на 5 этажей с анимациями, очередью вызовов и всей логикой. Тогда это считалось сложным заданием на джуниора: из 10 кандидатов дай бог один сдавал что-то рабочее. Сейчас тестовые не даем, процесс собеседования сильно поменялся, но задание попалось на глаза и я подумал - а что если скормить его AI-тулам как есть?
Как есть - это прям аттач PDF-ки и "Разработай веб-приложение по этому заданию".
Закинул в ChatGPT, Claude и Gemini. Как-то справились все три, но с разным качеством. На всех - платные подписки, максимально доступная мне модель.
- ChatGPT выдал симпатичный лифт в канвасе, но он не едет. Но надо сказать что у меня подписка Plus, их Pro модель там недоступна.
- Gemini выдал уже работающий лифт в канвасе, но со странной анимацией и дизайном и учел не все требования. AI Studio как ни странно оказался не лучше, лифт не поехал.
Claude выдал единственный результат где реально работало: лифт едет, двери открывались и закрывались логично, очередь вызовов обрабатывалась правильно. Выглядит симпатично. Правда, зачем-то снижал скорость между этажами.
Все примеры выше - one-shot. Плюс, я осознанно не стал использовать Claude Code, Codex или Cursor - во-первых пятница - хотелось легкости эксперимента: закинул ТЗ как есть и смотрю что получится. Понятно что агенты с нужным тулингом справились бы куда лучше.
Зато теперь у меня есть личный бенчмарк для проверки новых кодинг-моделей - буду давать им эту задачку и смотреть что выйдет))
Само ТЗ тут, если нужно для экспериментов. Вообще, надо сказать - задача не такая тривиальная как может показаться - если начать тестить там будет очень много багов, но джуны и с этим не справлялись)
Кстати, уже после написания черновика попался на глаза свежий промптинг-гайд от Vercel: How to prompt v0, решил применить его (вот финальный промпт), и знаете что? Справились заметно лучше: ChatGPT, Gemini, Claude.
Что тут сказать? Тестовые задания практически не имеют смысла, промтинг решат, а Opus тащит в кодинге)