Немного духоты про ИИ, кому интересно 🤖⬇️
Вчера немного протестировал новые модели на простых задачах. Существенной разницы между Kimi K2.6, DeepSeek Flash High и DeepSeek Flash Max не заметил. А вот при reasoning=medium качество уже ощутимо проседает.
Ночью попросил GPT-5.6 Sol придумать несколько более сложных бенчмарков. Сравнивали DeepSeek V4 Flash 0731, Kimi K2.6 и MiniMax M2.7 (coder-large).
Получились такие результаты:
1. Сложный one-shot аудит. Kimi дала наиболее цельный и качественно написанный аналитический ответ. DeepSeek немного уступила в рассуждении, но ответила заметно компактнее.
2. Агентная работа с репозиторием. DeepSeek Flash High показала лучший результат: точнее следовала плану, эффективнее использовала тесты и допустила меньше скрытых ошибок.
3. Долгий end-to-end вайбкодинг. Лучший результат дала DeepSeek Flash Max. Она лучше удерживала одновременно backend, frontend, SQLite, бизнес-логику и UX.
В целом DeepSeek Flash подтверждает сильные coding- и agentic-навыки. Для большинства задач оптимальным режимом выглядит reasoning=high. Max полезен прежде всего для длинных сквозных задач, но на более коротких может добавлять лишнюю сложность и даже ухудшать результат.
Kimi при этом остаётся сильнее как аналитик и независимый reviewer. Субъективно она также пишет более приятный и цельный текст — это подтвердилось в первом бенчмарке.
Практическая связка может выглядеть так:
Kimi формулирует задачу и риски → DeepSeek High планирует и реализует → для долгой разработки можно использовать Max → финальное ревью снова проводить в High.
Вчера немного протестировал новые модели на простых задачах. Существенной разницы между Kimi K2.6, DeepSeek Flash High и DeepSeek Flash Max не заметил. А вот при reasoning=medium качество уже ощутимо проседает.
Ночью попросил GPT-5.6 Sol придумать несколько более сложных бенчмарков. Сравнивали DeepSeek V4 Flash 0731, Kimi K2.6 и MiniMax M2.7 (coder-large).
Получились такие результаты:
1. Сложный one-shot аудит. Kimi дала наиболее цельный и качественно написанный аналитический ответ. DeepSeek немного уступила в рассуждении, но ответила заметно компактнее.
2. Агентная работа с репозиторием. DeepSeek Flash High показала лучший результат: точнее следовала плану, эффективнее использовала тесты и допустила меньше скрытых ошибок.
3. Долгий end-to-end вайбкодинг. Лучший результат дала DeepSeek Flash Max. Она лучше удерживала одновременно backend, frontend, SQLite, бизнес-логику и UX.
В целом DeepSeek Flash подтверждает сильные coding- и agentic-навыки. Для большинства задач оптимальным режимом выглядит reasoning=high. Max полезен прежде всего для длинных сквозных задач, но на более коротких может добавлять лишнюю сложность и даже ухудшать результат.
Kimi при этом остаётся сильнее как аналитик и независимый reviewer. Субъективно она также пишет более приятный и цельный текст — это подтвердилось в первом бенчмарке.
Практическая связка может выглядеть так:
Kimi формулирует задачу и риски → DeepSeek High планирует и реализует → для долгой разработки можно использовать Max → финальное ревью снова проводить в High.