IT Friday

Очень крутое интервью с профессором математики Владимиром Крыловым

Почему галлюцинации LLM неизбежны и почему у reasoning-моделей они местами даже выше — «парадокс рассуждений». Много интересных и полезных мыслей про настоящее и будущее ИИшечки. В интервью прям отлично покручены разные стороны: вайбкодинг, архитектура LLM, агенты и в целом про индустрию. Все чотенько, по делу и весьма вдохновляющее, рекомендую почитать полностью 😊

Но кому хочется "по-быстрому" - вот немножко главных поинтов:

🟢Галлюцинации - фундаментальное свойство обучаемых моделей: в attention/статистике есть ограничения, которые “масштабом” не выбить.
🟢Теоретический предел ошибок: для любого вычислимо перечислимого множества найдётся вход/последовательность, где LLM неизбежно ошибётся.
🟢ИИ может быть перенесено на альтернативные носители: не GPU/кремний, а, условно, аналоговые, оптические/фотонные, нейроморфные, в пределе даже биологические/химические реализации.
🟢“Парадокс рассуждений”: именно reasoning-модели могут галлюцинировать чаще; это связывается с границами из теории обучения (упоминается VC-размерность) и тем, что длинные цепочки рассуждений приходится ограничивать.
🟢RAG / Tool use / внешние знания и инструменты резко снижают галлюцинации по сравнению с “чистым” внутренним знанием модели.
🟢Индустрия двигается к “калиброванной неопределённости”: система должна уметь говорить “не знаю”, а не подлизываться и уверенно выдумывать факты и явно показывать допустимый риск ошибок.
🟢Большие контекстные окна не спасают код-базы целиком: квадратичная цена attention, “семантический разрыв” (видит куски, не видит зависимости), плюс эффект “потерянный в середине” (U-образное внимание к токенам).
🟢Законы масштабирования выдыхаются, а прогресс всё сильнее уходит в аугментацию промпта: планирование, проверки, расширение контекста, нативные вызовы инструментов - выигрывает связка “модель + агент + инструменты”.
🟢Вопрос “чья модель лучше” скоро станет вторичным - важнее “какой агент решает мою задачу”, с каким контекстом и инструментами. Модель станет commodity “как электричество из розетки”.
🟢OpenAI отстаёт из-за нехватки радикально новых идей, а у Google — рычаг в виде масштабирования дата-центров на TPU.
🟢Метрики тоже меняются: появляются попытки оценивать вклад LLM в экономику (вроде “прибавки к ВВП”), и разговор про AGI съезжает от философии к выгоде бизнесу.