OpenAI o3-mini
Анонс, System card
Это продолжение линейки рассуждающих моделей (ризонеров) от OpenAI (предыдущими были модели o1 и o1-mini).
Вышла в 3 вариантах: o3-mini-low, o3-mini-medium и o3-mini-high.
По сути, это одна и та же модель, которая работает с разными уровнями "усердия" при рассуждениях - чем выше уровень, тем больше времени и токенов модель тратит на "обдумывание" ответа.
Разница в способностях между уровнями очень заметная - чем больше модели давать рассуждать, тем лучше она решает задачи.
В чем она лучше предшественников?
* большой прирост в производительности в задачах, связанных с наукой, математикой, программированием (STEM-like);
* существенное снижение стоимости при схожей с o1 производительности (API дешевле в 10+ раз);
* увеличенная скорость ответов - как времени до первого токена, так и последующей генерации.
Модель уже доступна в API (для Tier 3+), на сайте ChatGPT, а также в Cursor (+ Agent!).
Пройдёмся по скриншотам
1 - твит Cursor о том, что o3-mini можно пока что использовать бесплатно, но при этом их собственные разработчики всё ещё предпочитают Sonnet :)
(хехе, и я тоже, об этом ниже)
2 - бенчмарк Aider Polyglot - видно, что o3-mini-high забралась довольно высоко, но при этом стоит обратить внимание на столбец "Percent using correct edit format" - процент задач, в которых модель следовала заданному формату редактирования - по этому параметру модель выглядит не так хорошо.
3 - результаты тестирования на автономность при симуляции работы инженера-исследователя OpenAI: в этом случае модель показывает нулевые результаты - предположительно из-за того, что она плохо следовала инструкциям и путала инструменты.
Можно надеяться на то, что это будет исправлено в будущем и результаты будут намного лучше.
4 - результаты решения задач Codeforces - видно, что производительность сильно выросла, даже опережает "взрослую" o1.
5 - задачи из LiveBench на олимпиадное программирование "с нуля" и на продолжение кода частичного решения олимпиадной задачи.
Тут можно отметить 2 вещи: high-модель лучше всех и там, и там, а low-модель сильно проваливается на частичных решениях.
Личные впечатления (предварительные)
Я пока что провел с ней всего несколько часов, но позже докину новых впечатлений, если что-то поменяется.
Плюс, при работе с существующей кодовой базой я использовал модель в Cursor, и там неизвестно, какой именно её вариант подключен, а это сильно влияет на результаты.
Итак, с т.з. разработки - это модель-олимпиадник :)
Отлично решает задачи на логику, математику, алгоритмы, и если у вас в коде есть что-то, что требует работы "вглубь" и на узком участке кода - однозначно стоит её использовать, это практически лучшая модель сейчас для таких задач (именно high-версия).
А вот с задачами "вширь" справляется не так успешно:
* когда в рамках задачи нужно поправить код сразу в нескольких местах - вносит ограниченное количество изменений, ломая проект;
* не очень хорошо учитывает мелкие детали, разбросанные в разных местах кодовой базы;
* удаляет код, который не нужно удалять, в процессе внесения своих изменений;
* в Cursor Agent упорно не использует инструменты, которые легко использует тот же Sonnet;
* на архитектурных задачах тоже не так хороша, как, к примеру, R1.
Очень странно, что она фейлится на задачах, связанных со structured outputs и function calling (SO/FC) - её специально на это затачивали, судя по анонсу, но что-то пошло не так.
Так что предварительно, для повседневного кода все ещё рулит Sonnet 3.5, а o3-mini достаётся роль отличного ризонера для небольших и глубоких задач.
Что дальше?
* ждём следующей модели от Claude - мне нравится Sonnet, но сколько уже можно-то;
* ждём большой o3;
* кажется, что проблема c SO/FC - низко висящий фрукт, и её могут пофиксить довольно быстро;
* хочется выбор high/medium/low-версии в Cursor (на их форуме народ уже просит такую фичу);
* надо потратить 100 баксов в API OpenAI, чтобы добраться до Tier 3, на котором станет можно использовать o3-mini - тогда можно будет опробовать модель по API в Cline/Aider :)
#ai #news #development
Анонс, System card
Это продолжение линейки рассуждающих моделей (ризонеров) от OpenAI (предыдущими были модели o1 и o1-mini).
Вышла в 3 вариантах: o3-mini-low, o3-mini-medium и o3-mini-high.
По сути, это одна и та же модель, которая работает с разными уровнями "усердия" при рассуждениях - чем выше уровень, тем больше времени и токенов модель тратит на "обдумывание" ответа.
Разница в способностях между уровнями очень заметная - чем больше модели давать рассуждать, тем лучше она решает задачи.
В чем она лучше предшественников?
* большой прирост в производительности в задачах, связанных с наукой, математикой, программированием (STEM-like);
* существенное снижение стоимости при схожей с o1 производительности (API дешевле в 10+ раз);
* увеличенная скорость ответов - как времени до первого токена, так и последующей генерации.
Модель уже доступна в API (для Tier 3+), на сайте ChatGPT, а также в Cursor (+ Agent!).
Пройдёмся по скриншотам
1 - твит Cursor о том, что o3-mini можно пока что использовать бесплатно, но при этом их собственные разработчики всё ещё предпочитают Sonnet :)
(хехе, и я тоже, об этом ниже)
2 - бенчмарк Aider Polyglot - видно, что o3-mini-high забралась довольно высоко, но при этом стоит обратить внимание на столбец "Percent using correct edit format" - процент задач, в которых модель следовала заданному формату редактирования - по этому параметру модель выглядит не так хорошо.
3 - результаты тестирования на автономность при симуляции работы инженера-исследователя OpenAI: в этом случае модель показывает нулевые результаты - предположительно из-за того, что она плохо следовала инструкциям и путала инструменты.
Можно надеяться на то, что это будет исправлено в будущем и результаты будут намного лучше.
4 - результаты решения задач Codeforces - видно, что производительность сильно выросла, даже опережает "взрослую" o1.
5 - задачи из LiveBench на олимпиадное программирование "с нуля" и на продолжение кода частичного решения олимпиадной задачи.
Тут можно отметить 2 вещи: high-модель лучше всех и там, и там, а low-модель сильно проваливается на частичных решениях.
Личные впечатления (предварительные)
Я пока что провел с ней всего несколько часов, но позже докину новых впечатлений, если что-то поменяется.
Плюс, при работе с существующей кодовой базой я использовал модель в Cursor, и там неизвестно, какой именно её вариант подключен, а это сильно влияет на результаты.
Итак, с т.з. разработки - это модель-олимпиадник :)
Отлично решает задачи на логику, математику, алгоритмы, и если у вас в коде есть что-то, что требует работы "вглубь" и на узком участке кода - однозначно стоит её использовать, это практически лучшая модель сейчас для таких задач (именно high-версия).
А вот с задачами "вширь" справляется не так успешно:
* когда в рамках задачи нужно поправить код сразу в нескольких местах - вносит ограниченное количество изменений, ломая проект;
* не очень хорошо учитывает мелкие детали, разбросанные в разных местах кодовой базы;
* удаляет код, который не нужно удалять, в процессе внесения своих изменений;
* в Cursor Agent упорно не использует инструменты, которые легко использует тот же Sonnet;
* на архитектурных задачах тоже не так хороша, как, к примеру, R1.
Очень странно, что она фейлится на задачах, связанных со structured outputs и function calling (SO/FC) - её специально на это затачивали, судя по анонсу, но что-то пошло не так.
Так что предварительно, для повседневного кода все ещё рулит Sonnet 3.5, а o3-mini достаётся роль отличного ризонера для небольших и глубоких задач.
Что дальше?
* ждём следующей модели от Claude - мне нравится Sonnet, но сколько уже можно-то;
* ждём большой o3;
* кажется, что проблема c SO/FC - низко висящий фрукт, и её могут пофиксить довольно быстро;
* хочется выбор high/medium/low-версии в Cursor (на их форуме народ уже просит такую фичу);
* надо потратить 100 баксов в API OpenAI, чтобы добраться до Tier 3, на котором станет можно использовать o3-mini - тогда можно будет опробовать модель по API в Cline/Aider :)
#ai #news #development