Лаборатория Mila Йошуа Бенджио показала, как выжать из небольшой LLM качество уровня DeepSeek-R1 и o3-mini без дообучения, чисто за счёт умной организации инференса.
Метод называется Recursive Self-Aggregation (RSA) и работает по принципу эволюции, не нужно тренировать новую модель или покупать доступ к дорогим API.
Достаточно грамотно использовать то, что есть.
Платишь вычислениями на инференсе — получаешь качество.
Код открыт, метод работает на разных архитектурах. Практически применимая техника уже сейчас.
Метод называется Recursive Self-Aggregation (RSA) и работает по принципу эволюции, не нужно тренировать новую модель или покупать доступ к дорогим API.
Достаточно грамотно использовать то, что есть.
Платишь вычислениями на инференсе — получаешь качество.
Код открыт, метод работает на разных архитектурах. Практически применимая техника уже сейчас.