Новая работа Google ставит точку в споре о природе LLM
В своей свежей статье Гэри Лупян из University of Wisconsin и Блез Агуэра-и-Аркас, Google, взяли обычные тексты и заменили все знаменательные слова на бессмыслицу.
Получилось что-то вроде:
He dwushed a ghanc zawk plonge to hers and whemeed her a naif of phrave.
Затем попросили LLM перевести это на нормальный английский.
Результат: He dragged a spare chair close to hers and handed her a glass of wine — почти дословное совпадение с оригиналом.
Как это возможно?
Модель никогда не видела этих слов. Но она видела конструкцию — паттерн отношений между позициями в предложении. И этого оказалось достаточно.
Главный тезис - паттерн-матчинг не альтернатива настоящему интеллекту. Это его ключевой ингредиент.
Человеческое мышление работает так же. Буль создавал логику как модель мышления — а оказалось, компьютеры делают то, что людям трудно. LLM же воспроизводят наш способ: вероятностный, контекстно-зависимый, построенный на паттернах.
В своей свежей статье Гэри Лупян из University of Wisconsin и Блез Агуэра-и-Аркас, Google, взяли обычные тексты и заменили все знаменательные слова на бессмыслицу.
Получилось что-то вроде:
He dwushed a ghanc zawk plonge to hers and whemeed her a naif of phrave.
Затем попросили LLM перевести это на нормальный английский.
Результат: He dragged a spare chair close to hers and handed her a glass of wine — почти дословное совпадение с оригиналом.
Как это возможно?
Модель никогда не видела этих слов. Но она видела конструкцию — паттерн отношений между позициями в предложении. И этого оказалось достаточно.
Главный тезис - паттерн-матчинг не альтернатива настоящему интеллекту. Это его ключевой ингредиент.
Человеческое мышление работает так же. Буль создавал логику как модель мышления — а оказалось, компьютеры делают то, что людям трудно. LLM же воспроизводят наш способ: вероятностный, контекстно-зависимый, построенный на паттернах.