Если вы работали с LLM, то знаете, как резко и смачно они тупеют от больших командных окон. Продолбать что угодно в промпте — легко. Забыть кусок текста — легко. Большая кодовая база? Забудьте. На этом, кстати, основаны обходы цензуры, когда маленькая цензурирующая модель перегружается огромным запросом, а большая основная его всё же делает.
Виноват механизм внимания — один из столпов их силы "думать". И вот предложили архитектуру, где можно без него. Специально для огромных задач.
Публикация вот.
Предлагают выкинуть внимание. Но не до конца.
Основа трансформера — механизм самовнимания. Это когда каждое слово в тексте смотрит на все остальные слова, чтобы понять контекст.
Это как создание нейронных связей между токенами. Очень круто, сильно, мощно, но требует огромных вычислений.
Удвоили длину текста — получили стек оверфло.
Командное окно Gemini сейчас 1 миллион токенов (по запросу 2), и этого всё равно мало для настоящих задач. Например, переписывания "Войны и мира". Хотя настоящие задачи как-то так все про войну, без мира.
Вместо модели слово-к-слову тут другие подходы:
— Разрезание на куски (например, по 2048 слов). Образуется кластер, который считается внутри себя и создаёт нейронные связи с другими кластерами. Привет, "Жемчужины программирования", привет, Бентли.
— Блоки на основе моделей пространства состояний (SSM) — внутри кусков блоки обрабатывают слова. Это как очень умные свёртки. По сути, это фильтр того, какие нейронные сети строить. Эти операции работают гораздо быстрее, чем внимание, почти линейно по отношению к длине куска.
— Multi-Resolution Convolution layers — внутри каждого куска после SSM есть свёрточные слои с разным шагом. Это позволяет модели улавливать локальные закономерности на разных уровнях детализации — от связей между соседними словами до связей между словами, стоящими чуть дальше друг от друга внутри куска. То есть каждый кластер состоит из кластеров тоже.
— Рекуррентный наблюдатель — снаружи всего этого сидит чудо с механизмом внимания. Ещё одна лёгкая модель, которая умеет хранить общую нить и передавать информацию от одного куска к другому (это, например, GRU или LSTM). Он получает сводку (эмбед) текущего обработанного куска и обновляет своё внутреннее глобальное состояние, передавая его следующему куску. Это помогает поддерживать связность по всему длинному тексту.
— Внешняя память с поиском — для каждого обработанного куска создаётся его компактное представление. Эти представления сохраняются во внешней базе данных памяти. То есть такие краткие пересказы, что там. Когда модель обрабатывает новый кусок, она может сделать запрос к этой памяти, чтобы найти представления наиболее похожих или релевантных прошлых кусков. Извлечённая информация затем добавляется к текущему куску, обогащая его контекстом из далёкого прошлого без необходимости пересчитывать всё заново. Это не вводит квадратичных операций.
Это не полное выкидывание внимания, а его ограничение. Внимание есть у рекуррентного наблюдателя, но оно работает на более высоком уровне абстракции, что дешевле. Можно сказать, что это продвинутый RAG + иерархический процессинг.
Эта хтонь должна работать с окололинейным ростом сложности. Начиная с определённого объёма она лучше других трансформеров в т.ч. разреженных (BigBird, Longformer), с кэшем (Transformer-XL) и известных не-трансформ-подходов вроде извлекающих моделей (REALM, RAG), не-внимательных моделей (RNN, CNN, чистых SSM типа S4, Mamba).
Для чего нужно:
— Вычислять смыслы из большого куска информации, например, всей вашей личной переписки, а то задолбались уже взаимосвязи по чатам искать;
— Отвечать на вопросы по большому набору документации;
— Работать с большой кодовой базой;
— Ну и там ещё что-то придумается.
Короче, они убрали связь токен-к-токену и этим прошли квадратичный барьер обычного внимания. Этой архитектурой можно находить всё важное в блоке очень пристально, а потом отдавать его внимательным LLM.
--
Вступайте в ряды Фурье! Новая модель настолько не-внимательна, что когда ей рассказывают анекдот №371, она смеётся только через три кластера.
Виноват механизм внимания — один из столпов их силы "думать". И вот предложили архитектуру, где можно без него. Специально для огромных задач.
Публикация вот.
Предлагают выкинуть внимание. Но не до конца.
Основа трансформера — механизм самовнимания. Это когда каждое слово в тексте смотрит на все остальные слова, чтобы понять контекст.
Это как создание нейронных связей между токенами. Очень круто, сильно, мощно, но требует огромных вычислений.
Удвоили длину текста — получили стек оверфло.
Командное окно Gemini сейчас 1 миллион токенов (по запросу 2), и этого всё равно мало для настоящих задач. Например, переписывания "Войны и мира". Хотя настоящие задачи как-то так все про войну, без мира.
Вместо модели слово-к-слову тут другие подходы:
— Разрезание на куски (например, по 2048 слов). Образуется кластер, который считается внутри себя и создаёт нейронные связи с другими кластерами. Привет, "Жемчужины программирования", привет, Бентли.
— Блоки на основе моделей пространства состояний (SSM) — внутри кусков блоки обрабатывают слова. Это как очень умные свёртки. По сути, это фильтр того, какие нейронные сети строить. Эти операции работают гораздо быстрее, чем внимание, почти линейно по отношению к длине куска.
— Multi-Resolution Convolution layers — внутри каждого куска после SSM есть свёрточные слои с разным шагом. Это позволяет модели улавливать локальные закономерности на разных уровнях детализации — от связей между соседними словами до связей между словами, стоящими чуть дальше друг от друга внутри куска. То есть каждый кластер состоит из кластеров тоже.
— Рекуррентный наблюдатель — снаружи всего этого сидит чудо с механизмом внимания. Ещё одна лёгкая модель, которая умеет хранить общую нить и передавать информацию от одного куска к другому (это, например, GRU или LSTM). Он получает сводку (эмбед) текущего обработанного куска и обновляет своё внутреннее глобальное состояние, передавая его следующему куску. Это помогает поддерживать связность по всему длинному тексту.
— Внешняя память с поиском — для каждого обработанного куска создаётся его компактное представление. Эти представления сохраняются во внешней базе данных памяти. То есть такие краткие пересказы, что там. Когда модель обрабатывает новый кусок, она может сделать запрос к этой памяти, чтобы найти представления наиболее похожих или релевантных прошлых кусков. Извлечённая информация затем добавляется к текущему куску, обогащая его контекстом из далёкого прошлого без необходимости пересчитывать всё заново. Это не вводит квадратичных операций.
Это не полное выкидывание внимания, а его ограничение. Внимание есть у рекуррентного наблюдателя, но оно работает на более высоком уровне абстракции, что дешевле. Можно сказать, что это продвинутый RAG + иерархический процессинг.
Эта хтонь должна работать с окололинейным ростом сложности. Начиная с определённого объёма она лучше других трансформеров в т.ч. разреженных (BigBird, Longformer), с кэшем (Transformer-XL) и известных не-трансформ-подходов вроде извлекающих моделей (REALM, RAG), не-внимательных моделей (RNN, CNN, чистых SSM типа S4, Mamba).
Для чего нужно:
— Вычислять смыслы из большого куска информации, например, всей вашей личной переписки, а то задолбались уже взаимосвязи по чатам искать;
— Отвечать на вопросы по большому набору документации;
— Работать с большой кодовой базой;
— Ну и там ещё что-то придумается.
Короче, они убрали связь токен-к-токену и этим прошли квадратичный барьер обычного внимания. Этой архитектурой можно находить всё важное в блоке очень пристально, а потом отдавать его внимательным LLM.
--
Вступайте в ряды Фурье! Новая модель настолько не-внимательна, что когда ей рассказывают анекдот №371, она смеётся только через три кластера.