Видео недоступно для предпросмотра
Смотреть в Telegram
я довольно сильно уверена, что существует какой-то universal language manifold (= поверхность, образованная meaning-векторами), который может даже примерно общий и для людей, и для LLMок
но мы не тренируем LLM явно репрезентировать этот manifold, мы скорее тренируем их его аппроксимировать и двигаться по нему, строя на нём кривые
и эти кривые, это reasoning в геометрических терминах, типа reasoning trace — это кривая на low-dimensional manifold, вложенном в очень high-dimensional пространство
Linear Representation Hypothesis (http://arxiv.org/pdf/2311.03658) немного касается этого, но интересно, есть ли более свежие работы, которые развивают идею manifold дальше?
было бы круто послушать мнение людей с опытом в differential geometry на этот счёт :)
@aimalysheva
но мы не тренируем LLM явно репрезентировать этот manifold, мы скорее тренируем их его аппроксимировать и двигаться по нему, строя на нём кривые
и эти кривые, это reasoning в геометрических терминах, типа reasoning trace — это кривая на low-dimensional manifold, вложенном в очень high-dimensional пространство
Linear Representation Hypothesis (http://arxiv.org/pdf/2311.03658) немного касается этого, но интересно, есть ли более свежие работы, которые развивают идею manifold дальше?
было бы круто послушать мнение людей с опытом в differential geometry на этот счёт :)
@aimalysheva