Репост из: Анализ данных (Data analysis)
Видео недоступно для предпросмотра
Смотреть в Telegram
⚡️Андрей Карпати поделился интересным экспериментом: он попробовал собрать **исследовательскую команду из AI-агентов.
В setup:
- 8 агентов (Claude + Codex)
- у каждого свой GPU
- каждый работает как отдельный исследователь
- задачи ведутся через Git-ветки
- коммуникация через файлы
- всё запускается в tmux - как «офис» с окнами
Фактически — попытка построить AI-research-организацию.
Но главный вывод оказался неожиданным.
Агенты:
- плохо продумывают дизайн экспериментов
- делают случайные или бессмысленные вариации
- не строят сильные baseline
- не контролируют compute и время
- часто делают ложные выводы
Пример: агент «обнаружил», что увеличение hidden size улучшает validation loss.
Формально — да. Но модель просто стала больше и дольше обучалась. Никакой научной ценности.
Инсайт:
AI отлично реализует хорошо сформулированные идеи.
Но пока плохо генерирует сильные исследовательские гипотезы.
Самая важная мысль:
Теперь мы программируем не модель —
мы программируем организацию.
Source code такой системы:
- промпты
- роли
- процессы
- инструменты
- standup’ы
- workflow
Вопрос будущего звучит так:
Насколько быстро ваша AI-организация может делать научный прогресс на новой задаче?
Добро пожаловать в эпоху *Org Engineering*.
https://x.com/karpathy/status/2027521323275325622
В setup:
- 8 агентов (Claude + Codex)
- у каждого свой GPU
- каждый работает как отдельный исследователь
- задачи ведутся через Git-ветки
- коммуникация через файлы
- всё запускается в tmux - как «офис» с окнами
Фактически — попытка построить AI-research-организацию.
Но главный вывод оказался неожиданным.
Агенты:
- плохо продумывают дизайн экспериментов
- делают случайные или бессмысленные вариации
- не строят сильные baseline
- не контролируют compute и время
- часто делают ложные выводы
Пример: агент «обнаружил», что увеличение hidden size улучшает validation loss.
Формально — да. Но модель просто стала больше и дольше обучалась. Никакой научной ценности.
Инсайт:
AI отлично реализует хорошо сформулированные идеи.
Но пока плохо генерирует сильные исследовательские гипотезы.
Самая важная мысль:
Теперь мы программируем не модель —
мы программируем организацию.
Source code такой системы:
- промпты
- роли
- процессы
- инструменты
- standup’ы
- workflow
Вопрос будущего звучит так:
Насколько быстро ваша AI-организация может делать научный прогресс на новой задаче?
Добро пожаловать в эпоху *Org Engineering*.
https://x.com/karpathy/status/2027521323275325622