⚡️Андрей Карпати поделился интересным экспериментом: он попробовал собрать исследовательскую команду из AI-агентов.

В setup:
- 8 агентов (Claude + Codex)
- у каждого свой GPU
- каждый работает как отдельный исследователь
- задачи ведутся через Git-ветки
- коммуникация через файлы
- всё запускается в tmux - как «офис» с окнами

Фактически — попытка построить AI-research-организацию.

Но главный вывод оказался неожиданным.

Агенты:
- плохо продумывают дизайн экспериментов
- делают случайные или бессмысленные вариации
- не строят сильные baseline
- не контролируют compute и время
- часто делают ложные выводы

Пример: агент «обнаружил», что увеличение hidden size улучшает validation loss.
Формально - да. Но модель просто стала больше и дольше обучалась. Никакой научной ценности.

Инсайт:

AI отлично реализует хорошо сформулированные идеи.
Но пока плохо генерирует сильные исследовательские гипотезы.

Теперь мы программируем не модель -
мы программируем организацию.

Source code такой системы:
- промпты
- роли
- процессы
- инструменты
- standup’ы
- workflow

Добро пожаловать в эпоху *Org Engineering*.

https://x.com/karpathy/status/2027521323275325622