Anthropic выпустили Opus 4.1 и выяснили ещё больше о том, как ИИ рассуждают - новое исследование
Вчера Anthropic присоединились к параду релизов и выпустили Opus 4.1, который стал еще лучше для кодирования и агентских задач. Напомним, что вчера OpenAI представили свою опен сорс модель. А Google - Genie3.
Более того, международная группа исследователей из Anthropic, Decode, EleutherAI, Goodfire AI, Google DeepMind опубликовала масштабное исследование внутренних механизмов больших языковых моделей.
Что выяснили?
1. Языковые модели используют многоэтапное мышление даже в простых задачах.
2. Модели сначала решают задачи на универсальном уровне, а потом переводят на конкретный язык.
3. У моделей есть специализированные "детекторы" для отслеживания грамматических структур, границ предложений и даже отдельных букв — особенно важно для рифм и акронимов.
Исследователи разработали "графы атрибуции" — способ визуализировать информационные потоки внутри модели. Это как МРТ для ИИ: можно увидеть, какие части "мозга" активны при решении конкретной задачи.
Методы оказались воспроизводимыми на разных моделях (GPT-2, Gemma, Llama) и уже используются сообществом — создано более 7000 таких "снимков мозга" ИИ.
Для математических задач модели используют заготовленные паттерны для конкретных комбинаций входных данных. Это объясняет, почему ИИ иногда неожиданно ошибается в, казалось бы, простых вычислениях.
Появляется возможность точечно настраивать поведение моделей, предсказывать их ошибки и создавать более надежные системы.
Вчера Anthropic присоединились к параду релизов и выпустили Opus 4.1, который стал еще лучше для кодирования и агентских задач. Напомним, что вчера OpenAI представили свою опен сорс модель. А Google - Genie3.
Более того, международная группа исследователей из Anthropic, Decode, EleutherAI, Goodfire AI, Google DeepMind опубликовала масштабное исследование внутренних механизмов больших языковых моделей.
Что выяснили?
1. Языковые модели используют многоэтапное мышление даже в простых задачах.
2. Модели сначала решают задачи на универсальном уровне, а потом переводят на конкретный язык.
3. У моделей есть специализированные "детекторы" для отслеживания грамматических структур, границ предложений и даже отдельных букв — особенно важно для рифм и акронимов.
Исследователи разработали "графы атрибуции" — способ визуализировать информационные потоки внутри модели. Это как МРТ для ИИ: можно увидеть, какие части "мозга" активны при решении конкретной задачи.
Методы оказались воспроизводимыми на разных моделях (GPT-2, Gemma, Llama) и уже используются сообществом — создано более 7000 таких "снимков мозга" ИИ.
Для математических задач модели используют заготовленные паттерны для конкретных комбинаций входных данных. Это объясняет, почему ИИ иногда неожиданно ошибается в, казалось бы, простых вычислениях.
Появляется возможность точечно настраивать поведение моделей, предсказывать их ошибки и создавать более надежные системы.