📌Cursor переписал SQLite на Rust по документации
Anysphere опубликовала отчёт об эксперименте, в котором группе агентов поручили реализовать на языке Rust всё содержимое 835-страничного руководства SQLite.
🟡Конфигураций было четыре
В двух одна и та же модель и планировала, и выполняла работу - это были GPT-5.5 и Grok 4.5. В остальных планированием занимались Opus 4.8 или Fable 5, а исполнение отдавали собственной Composer 2.5.
Качество измеряли по набору sqllogictest из проекта SQLite, который сверяет ответы разных движков на одинаковые запросы.
Агентам о существовании этого набора не сообщали. Cursor после каждого прогона вручную проверяли код на подгонку под тесты и на то, равномерно ли построена система.
Код соло-запуска Opus 4.8 выложен на GitHub.
🟡Разброс по деньгам
Дешевле всего вышла связка Opus 4.8 с Composer 2.5 - $1339, дороже всего работа на одной GPT-5.5 - $10 565.
Две оставшиеся конфигурации стоили $1,9 тыс. (Grok 4.5) и $2,2 тыс. (гибрид с Fable 5).
Дополнительно Cursor прогнала Opus 4.8 и Fable 5 поодиночке - за $5153 и $20 057, но эти запуски оценивались неформально и в сравнение по качеству не включались.
🟡Фан-факт
В качестве одной из конфигураций рассчитывали использовать GPT-5.6 Sol, но модель оказалась чувствительной к буквальным формулировкам и уходила в неконтролируемые циклы. От нее отказались - не было времени на переписывание промптов.
@ai_machinelearning_big_data
#AI #ML #Agents #Cursor #Research
Anysphere опубликовала отчёт об эксперименте, в котором группе агентов поручили реализовать на языке Rust всё содержимое 835-страничного руководства SQLite.
Исходный код СУБД, её готовые сборки, тестовые наборы и доступ в интернет агентам, по словам Cursor, были закрыты.
🟡Конфигураций было четыре
В двух одна и та же модель и планировала, и выполняла работу - это были GPT-5.5 и Grok 4.5. В остальных планированием занимались Opus 4.8 или Fable 5, а исполнение отдавали собственной Composer 2.5.
Все конфигурации в итоге прошли тестовый набор целиком.
Качество измеряли по набору sqllogictest из проекта SQLite, который сверяет ответы разных движков на одинаковые запросы.
Агентам о существовании этого набора не сообщали. Cursor после каждого прогона вручную проверяли код на подгонку под тесты и на то, равномерно ли построена система.
Код соло-запуска Opus 4.8 выложен на GitHub.
🟡Разброс по деньгам
Дешевле всего вышла связка Opus 4.8 с Composer 2.5 - $1339, дороже всего работа на одной GPT-5.5 - $10 565.
Две оставшиеся конфигурации стоили $1,9 тыс. (Grok 4.5) и $2,2 тыс. (гибрид с Fable 5).
Дополнительно Cursor прогнала Opus 4.8 и Fable 5 поодиночке - за $5153 и $20 057, но эти запуски оценивались неформально и в сравнение по качеству не включались.
Из эксперимента Cursor делает вывод, что топовая модель нужна на отдельных этапах - при первичной декомпозиции задачи и принятии проектных решений, а дальше инструкции может выполнять модель подешевле.
🟡Фан-факт
В качестве одной из конфигураций рассчитывали использовать GPT-5.6 Sol, но модель оказалась чувствительной к буквальным формулировкам и уходила в неконтролируемые циклы. От нее отказались - не было времени на переписывание промптов.
@ai_machinelearning_big_data
#AI #ML #Agents #Cursor #Research