Всё, что вам нужно знать про «рассуждающие» модели (чтобы использовать их реже)
OpenAI в своё время совершили прорыв, создав и популяризировав «рассуждающую» языковую модель o1. Суть модели в том, что благодаря обучению на особом дата-сете она способна шаг за шагом решать сложные задачи, «имитируя» человеческое мышление. С тех пор все компании носятся с этими рассуждающими моделями. Но, во-первых, никакое мышление они не имитируют, а во-вторых – не всегда самый сложный инструмент оказывается лучшим выбором.
У рассуждающих моделей есть несколько проблем, и главная из них – избыточная сложность. Чтобы узнать, сколько будет 2+2, человек вряд ли станет запускать суперкомпьютер. То же происходит и с ИИ-моделями: когда нужно узнать столицу страны или перевести предложение, запуск механизма рассуждений становится пушечным выстрелом по воробьям.
Механизм цепочки рассуждений (CoT) создавался изначально с целью уменьшить шансы галлюцинаций в ответах и заставить ИИ перепроверять себя. Это особенно полезно в решении головоломок, математических и логических задач. Они разбивают проблему на шаги, выстраивают логические связи и демонстрируют весь процесс мышления. Возникает вопрос – как часто люди используют ИИ для этого?
Более того, за такое усложнение приходится платить – буквально. Такие модели требуют больше вычислительных ресурсов, потому что нуждаются в большем контекстном окне, работают медленнее и часто страдают от «многословия» – могут превратить простую задачу в зацикленный на себе самом философский трактат. Часто продвинутые модели совершают ошибки именно из-за своей сложности – логически выверенная цепочка рассуждений может привести к отлично аргументированному, но неверному выводу. То есть «рассуждение» не гарантирует, что ответ будет более правильным.
Поэтому, когда какую-то компанию ругают за отсутствие рассуждающего режима или его сырость – нужно задать вопрос «А зачем он вообще нужен?». Возможно, обычная LLM с доступом в Интернет решает задачи большинства пользователей гораздо быстрее и эффективнее. Равно как и в ситуации, когда компания активно продвигает «новую рассуждающую модель» – важно понимать, где реальное улучшение, а где просто маркетинг.
Что полезного можно для себя вынести? Использовать рассуждающие модели для фактических вопросов, суммирования, перевода и написания текста – не сильно рационально: тратится больше времени, ресурсов, а качество ответа может снизиться. Это понимают и крупные компании, создающие «гибридные» модели – которые в зависимости от сложности запроса принимают решение о том, сколько нужно «думать».
OpenAI в своё время совершили прорыв, создав и популяризировав «рассуждающую» языковую модель o1. Суть модели в том, что благодаря обучению на особом дата-сете она способна шаг за шагом решать сложные задачи, «имитируя» человеческое мышление. С тех пор все компании носятся с этими рассуждающими моделями. Но, во-первых, никакое мышление они не имитируют, а во-вторых – не всегда самый сложный инструмент оказывается лучшим выбором.
У рассуждающих моделей есть несколько проблем, и главная из них – избыточная сложность. Чтобы узнать, сколько будет 2+2, человек вряд ли станет запускать суперкомпьютер. То же происходит и с ИИ-моделями: когда нужно узнать столицу страны или перевести предложение, запуск механизма рассуждений становится пушечным выстрелом по воробьям.
Механизм цепочки рассуждений (CoT) создавался изначально с целью уменьшить шансы галлюцинаций в ответах и заставить ИИ перепроверять себя. Это особенно полезно в решении головоломок, математических и логических задач. Они разбивают проблему на шаги, выстраивают логические связи и демонстрируют весь процесс мышления. Возникает вопрос – как часто люди используют ИИ для этого?
Более того, за такое усложнение приходится платить – буквально. Такие модели требуют больше вычислительных ресурсов, потому что нуждаются в большем контекстном окне, работают медленнее и часто страдают от «многословия» – могут превратить простую задачу в зацикленный на себе самом философский трактат. Часто продвинутые модели совершают ошибки именно из-за своей сложности – логически выверенная цепочка рассуждений может привести к отлично аргументированному, но неверному выводу. То есть «рассуждение» не гарантирует, что ответ будет более правильным.
Поэтому, когда какую-то компанию ругают за отсутствие рассуждающего режима или его сырость – нужно задать вопрос «А зачем он вообще нужен?». Возможно, обычная LLM с доступом в Интернет решает задачи большинства пользователей гораздо быстрее и эффективнее. Равно как и в ситуации, когда компания активно продвигает «новую рассуждающую модель» – важно понимать, где реальное улучшение, а где просто маркетинг.
Что полезного можно для себя вынести? Использовать рассуждающие модели для фактических вопросов, суммирования, перевода и написания текста – не сильно рационально: тратится больше времени, ресурсов, а качество ответа может снизиться. Это понимают и крупные компании, создающие «гибридные» модели – которые в зависимости от сложности запроса принимают решение о том, сколько нужно «думать».