⚡️Китай создал ИИ, который впервые может создать новые архитектуры. Они называют это моментом AlphaGo
ASI-Arch - 1ая система искусственного сверхинтеллекта (ASI) для автоматизации научных исследований в области нейронных архитектур без участия человека.
Система может автономно выдвигать гипотезы о новых архитектурных концепциях, реализовывать их в виде исполняемого кода, обучать и эмпирически проверять их производительность через строгие эксперименты.
ASI-Arch создала 106 новых архитектур, превосходящих человеческие разработки - это не теоретическое достижение, а практический результат.
Ключевые достижения ASI-Arch:
1. 1,773 автономных эксперимента. 20,000 GPU-часов вычислений. Обнаружено 106 новых архитектур линейного внимания, превосходящих существующие.
2. Переход от автоматизированной оптимизации к автоматизированным инновациям. Система не просто перебирает варианты в заданном пространстве, а создает принципиально новые архитектуры.
3. Впервые эмпирически показано, что архитектурные прорывы можно масштабировать вычислительно - чем больше вычислений, тем больше открытий (линейная зависимость).
ASI-Arch основана на FLAME, LM-Evaluation-Harness и Flash Linear Attention. GitHub - GAIR-NLP/ASI-Arch: AlphaGo Moment for Model Architecture Discovery, что указывает на использование существующих открытых инструментов и фреймворков в качестве основы для создания этой системы.
Разработка является результатом труда команды GAIR-NLP.
ASI-Arch - 1ая система искусственного сверхинтеллекта (ASI) для автоматизации научных исследований в области нейронных архитектур без участия человека.
Система может автономно выдвигать гипотезы о новых архитектурных концепциях, реализовывать их в виде исполняемого кода, обучать и эмпирически проверять их производительность через строгие эксперименты.
ASI-Arch создала 106 новых архитектур, превосходящих человеческие разработки - это не теоретическое достижение, а практический результат.
Ключевые достижения ASI-Arch:
1. 1,773 автономных эксперимента. 20,000 GPU-часов вычислений. Обнаружено 106 новых архитектур линейного внимания, превосходящих существующие.
2. Переход от автоматизированной оптимизации к автоматизированным инновациям. Система не просто перебирает варианты в заданном пространстве, а создает принципиально новые архитектуры.
3. Впервые эмпирически показано, что архитектурные прорывы можно масштабировать вычислительно - чем больше вычислений, тем больше открытий (линейная зависимость).
ASI-Arch основана на FLAME, LM-Evaluation-Harness и Flash Linear Attention. GitHub - GAIR-NLP/ASI-Arch: AlphaGo Moment for Model Architecture Discovery, что указывает на использование существующих открытых инструментов и фреймворков в качестве основы для создания этой системы.
Разработка является результатом труда команды GAIR-NLP.