GPT-5, бенчмарки
Отобрал те, которые считаю важными для разработки (тут везде скорее всего gpt-5-thinking high).
Мнение по самой модели почти сформировалось, распишу позже :)
SWE-bench Verified
Сабсет оригинального SWE-bench для оценки способности LLM решать реальные задачи разработки.
Cодержит 500 задач из оригинального набора (из которых OpenAI в своих тестах убирают 23 задачи, которые "не могут быть запущены на нашей инфраструктуре").
Методология: Модели получают описание проблемы на GitHub и базу кода в состоянии до исправления. Задача - сгенерировать патч, который решает описанную проблему.
SWE-bench Bash Only
Использует тот же набор данных, что и SWE-bench Verified, но оценивает LLM в минималистичной bash-среде без спец. инструментов или продвинутых агентов.
Методология: Модели тестируются с помощью mini-SWE-agent в простом цикле ReAct-агента с доступом только к bash. Это позволяет проводить сравнение между различными LLM без влияния дополнительных инструментов.
Aider Polyglot
Оценка навыков программирования LLM на 225 сложных упражнениях из датасета Exercism по шести языкам программирования: C++, Go, Java, JavaScript, Python и Rust.
Методология: Модели должны решать реальные задачи программирования, требующие рассуждений, точности и выполнения кода в разных стеках.
Terminal Bench
Оценка способности ИИ-агентов выполнять сложные задачи в терминальных средах.
Методология: Содержит около 100 сложных задач от компиляции кодовых репозиториев и обучения ML-моделей до настройки серверов и отладки системных конфигов.
Tau Bench v1
Оценка способностей LLM использовать инструменты в агентских диалоговых сценариях.
Методология: Симулирует многошаговые диалоги между "пользователем" и агентом, имеющим доступ к API систем в конкретной предметной области и снабжённым общими руководящими принципами. Охватывает сценарии обслуживания клиентов авиакомпаний и розничной торговли.
Измеряет успешность решения проблемы пользователя и правильность использования необходимых API-инструментов.
Tau Bench v2 (τ²-bench)
Продвинутая версия с двусторонним управлением в сценариях удаленной поддержки клиентов, где как агент, так и пользователь могут использовать инструменты для решения задачи.
Методология: Агент должен координировать действия пользователя и эффективно направлять их. Включает композиционный генератор задач для создания разнообразных, проверяемых задач.
Тестирует как координацию агента, так и коммуникацию, с детальным анализом ошибок рассуждения против ошибок коммуникации/координации.
OpenAI MRCR (2-needle и 8-needle)
Тестирование способности LLM находить и различать множественные идентичные элементы ("иглы") в длинном контексте (до 1 миллиона токенов).
Методология: Модели даётся длинный синтетический диалог, где "пользователь" несколько раз в разных местах просит создать похожий контент (например, стихотворение о тапирах). В диалоге скрыты 2, 4 или 8 таких запросов, и модель должна найти конкретный экземпляр по его порядковому номеру (например, "дай мне 2-ю поэму о тапирах").
Модели нужно отличать "иглы" от "сена" и уметь точно определить, какой именно экземпляр запрашивается (1-й, 2-й, 3-й и т.д.)
Чем больше "игл" (2->4->8) и чем длиннее контекст, тем сложнее задача.
SimpleBench
Бенчмарк множественного выбора, где люди без специализированных знаний (уровень старшей школы) превосходят современные LLM.
Создан и поддерживается автором канала AI Explained (кстати, рекомендую - спокойные и вдумчивые новости).
Методология: Более 200 вопросов на пространственное мышление, понимание времени, социальный интеллект и логические ловушки, основанные на здравом смысле и понятные большинству людей (поэтому и "Simple").
Scale MultiChallenge
Бенчмарк для оценки LLM в ведении многошаговых разговоров с пользователями-людьми.
Методология: Проверяет 4 категории вызовов в многошаговых разговорах: удержание инструкций, запоминание пользовательской информации, версионное редактирование и самосогласованность. Все задачи требуют точного следования инструкциям и аккуратной работы с контекстом одновременно.
#ai #model #review #benchmarks
Отобрал те, которые считаю важными для разработки (тут везде скорее всего gpt-5-thinking high).
Мнение по самой модели почти сформировалось, распишу позже :)
SWE-bench Verified
Сабсет оригинального SWE-bench для оценки способности LLM решать реальные задачи разработки.
Cодержит 500 задач из оригинального набора (из которых OpenAI в своих тестах убирают 23 задачи, которые "не могут быть запущены на нашей инфраструктуре").
Методология: Модели получают описание проблемы на GitHub и базу кода в состоянии до исправления. Задача - сгенерировать патч, который решает описанную проблему.
SWE-bench Bash Only
Использует тот же набор данных, что и SWE-bench Verified, но оценивает LLM в минималистичной bash-среде без спец. инструментов или продвинутых агентов.
Методология: Модели тестируются с помощью mini-SWE-agent в простом цикле ReAct-агента с доступом только к bash. Это позволяет проводить сравнение между различными LLM без влияния дополнительных инструментов.
Aider Polyglot
Оценка навыков программирования LLM на 225 сложных упражнениях из датасета Exercism по шести языкам программирования: C++, Go, Java, JavaScript, Python и Rust.
Методология: Модели должны решать реальные задачи программирования, требующие рассуждений, точности и выполнения кода в разных стеках.
Terminal Bench
Оценка способности ИИ-агентов выполнять сложные задачи в терминальных средах.
Методология: Содержит около 100 сложных задач от компиляции кодовых репозиториев и обучения ML-моделей до настройки серверов и отладки системных конфигов.
Tau Bench v1
Оценка способностей LLM использовать инструменты в агентских диалоговых сценариях.
Методология: Симулирует многошаговые диалоги между "пользователем" и агентом, имеющим доступ к API систем в конкретной предметной области и снабжённым общими руководящими принципами. Охватывает сценарии обслуживания клиентов авиакомпаний и розничной торговли.
Измеряет успешность решения проблемы пользователя и правильность использования необходимых API-инструментов.
Tau Bench v2 (τ²-bench)
Продвинутая версия с двусторонним управлением в сценариях удаленной поддержки клиентов, где как агент, так и пользователь могут использовать инструменты для решения задачи.
Методология: Агент должен координировать действия пользователя и эффективно направлять их. Включает композиционный генератор задач для создания разнообразных, проверяемых задач.
Тестирует как координацию агента, так и коммуникацию, с детальным анализом ошибок рассуждения против ошибок коммуникации/координации.
OpenAI MRCR (2-needle и 8-needle)
Тестирование способности LLM находить и различать множественные идентичные элементы ("иглы") в длинном контексте (до 1 миллиона токенов).
Методология: Модели даётся длинный синтетический диалог, где "пользователь" несколько раз в разных местах просит создать похожий контент (например, стихотворение о тапирах). В диалоге скрыты 2, 4 или 8 таких запросов, и модель должна найти конкретный экземпляр по его порядковому номеру (например, "дай мне 2-ю поэму о тапирах").
Модели нужно отличать "иглы" от "сена" и уметь точно определить, какой именно экземпляр запрашивается (1-й, 2-й, 3-й и т.д.)
Чем больше "игл" (2->4->8) и чем длиннее контекст, тем сложнее задача.
SimpleBench
Бенчмарк множественного выбора, где люди без специализированных знаний (уровень старшей школы) превосходят современные LLM.
Создан и поддерживается автором канала AI Explained (кстати, рекомендую - спокойные и вдумчивые новости).
Методология: Более 200 вопросов на пространственное мышление, понимание времени, социальный интеллект и логические ловушки, основанные на здравом смысле и понятные большинству людей (поэтому и "Simple").
Scale MultiChallenge
Бенчмарк для оценки LLM в ведении многошаговых разговоров с пользователями-людьми.
Методология: Проверяет 4 категории вызовов в многошаговых разговорах: удержание инструкций, запоминание пользовательской информации, версионное редактирование и самосогласованность. Все задачи требуют точного следования инструкциям и аккуратной работы с контекстом одновременно.
#ai #model #review #benchmarks