Саша делает стартап

компании уже пару лет как файнтюнят модели под конкретные задачи, и вся эта работа становится ненужной при смене базовой модели: с каждым новым фронтир-релизом приходится либо оставаться на старой базовой модели, либо апгрейдиться и терять всё, что было пост-трейнено раньше

поэтому за рисерчем про трансляцию моделей между друг другом сейчас особенно интересно следить: например, vec2vec научились переводить эмбеддинги между моделями, которые никогда не обучались вместе (они делают это за счет общей геометрии, к которой сходятся эти пространства)

если этот рисечр обобщается, то эмбеддинги могут стать артефактом, который переживает смену базовых моделей

весь computing stack раньше был монолитным и потом разделялся на части, как только для этого появлялся интерфейс

AI при этом всё ещё на mainframe-стадии, то есть одна гигантская модель

мне кажется это все еще не декомпозировалось потому что интерфейс между моделями сейчас это текст, а текст это последнее, что производит модель, то есть summary всего, что она посчитала
и поэтому при каждой передаче от одной модели к другой почти вся настоящая работа, которая через них прошла, просто выбрасывается 🥲

вот например релевантный рисерч: Cache-to-Cache (Fu et al, ICLR 2026, arxiv.org/abs/2510.03215) — они дали двум моделям передавать друг другу KV-cache без текста и получили выше accuracy при 2x скорости на тех же двух моделях, но пока весь этот research direction исключительно попарный (две конкретные модели, руками соединённые каждый раз заново)

общего интерфейса, на котором могли бы коммуницировать модели, пока не существует, но как только он появится, то вниз по стеку изменится ОЧЕНЬ многое: например, кто вообще сможет строить мощные системы, требования к inference, будет ли capability накапливаться от поколения к поколению или каждый раз пересобираться с нуля и кастомизироваться

собираюсь в ближайшую неделю выкладывать больше примеров что и как поменяется :) это первая часть

и если мы думаем про кривые на манифолдах, то следующий вопрос, который сразу возникает это "какая у этих топологий манифолдов?"

понимание формы (дыры, петли, может ещё какие-то сохраняющиеся структуры) говорит очень много о том, какие вообще кривые на них возможны

релевантная статья: Persistent Topological Features in LLMs (arxiv.org/pdf/2410.11042), где авторы используют zigzag persistence из topological data analysis, чтобы отследить, как топологичсекие фичи эволюционируют по слоям модели (не слой за слоем по отдельности, а весь evolutionary путь целиком)

я довольно сильно уверена, что существует какой-то universal language manifold (= поверхность, образованная meaning-векторами), который может даже примерно общий и для людей, и для LLMок

но мы не тренируем LLM явно репрезентировать этот manifold, мы скорее тренируем их его аппроксимировать и двигаться по нему, строя на нём кривые

и эти кривые, это reasoning в геометрических терминах, типа reasoning trace — это кривая на low-dimensional manifold, вложенном в очень high-dimensional пространство

Linear Representation Hypothesis (http://arxiv.org/pdf/2311.03658) немного касается этого, но интересно, есть ли более свежие работы, которые развивают идею manifold дальше?

было бы круто послушать мнение людей с опытом в differential geometry на этот счёт :)

@aimalysheva

было бы круто найти способ переводить векторизацию внутреннего представления между моделями, сохраняя при этом meaning

в теории это могло бы работать так: берём два распределения над representation manifolds (те пространства векторов, которые выучивают модели) и ищем transport map, который минимизирует discrepancy по какому-то feature family (переносим массу из семантической геометрии одной модели в другую, не теряя структуру, которая и делает это чем-то осмысленным)

это все звучит довольно theory-heavy, так что я скоро пошерю еще технические базовые объяснения для основы всего этого

если вдруг знаете тех, кто этим занимается, напишите пожалуйста в комментах или в личку ("этим" = optimal transport для representation alignment, cross-model semantic transfer, или любая другая связанная математика) 🙂

@aimalysheva