SWE Bench Pro сломан
30% задач SWE-bench Pro сломаны. OpenAI нашли слишком строгие тесты, плохое покрытие тестами, вводящие в заблуждение промпты.
Уже второй кодинговый бенчмарк, который за последние полгода оказался сломанным. До этого в феврале OpenAI нашли серьезные проблемы в SWE Bench Verified и рекомендовали использовать SWE Bench Pro.
30% задач SWE-bench Pro сломаны. OpenAI нашли слишком строгие тесты, плохое покрытие тестами, вводящие в заблуждение промпты.
Уже второй кодинговый бенчмарк, который за последние полгода оказался сломанным. До этого в феврале OpenAI нашли серьезные проблемы в SWE Bench Verified и рекомендовали использовать SWE Bench Pro.