Автоматизация меняет не только скорость, но и пространство поиска

Исследователи Core Automation опубликовали очень интересную работу, в которой разбирают как наши данные сформировали открытие нейронных архитектур, и как автоматизация может изменить будущее.

Автор предлагает на этот вопрос посмотреть через призму экспериментов, подробнее вы можете о них прочитать тут.

Но ключевое, на что он обращает внимание - архитектуры, которыми мы пользуемся сегодня не были открыты, они были отобраны.

Сегодня ИИ-агенты ускоряют поиск архитектур, но если поиск ведётся на тех же данных и бенчмарках, то мы найдём те же архитектуры, только быстрее.

Трансформер изначально создавался для машинного перевода, потом адаптирован под код и математику.

Автоматизация открывает 2 возможности:

1. Ускорение - то, что занимало десятилетия, займёт годы или меньше.
2. Расширение пространства поиска - выход за пределы архитектур, которые люди могли итерировать вручную.

А данные, на которых ведётся поиск, определяют, что будет найдено.

Смени бенчмарки , получишь другие архитектуры.