Изменение в обучении ИИ - от людей к ИИ. Почему Amazon, Meta и Google вкладывают млрд$ вопреки прогнозам
В индустрии нарастает напряжение между скептиками, заявляющими об исчерпании возможностей масштабирования языковых моделей, и реальными действиями технологических гигантов.
В то время как критики указывают на насыщение бенчмарков и истощение данных, крупнейшие компании демонстрируют уверенность масштабными инвестициями.
Гонка инфраструктуры:
• Amazon: инвестирует в 400,000 чипов Trainium2 для Anthropic
•Meta: строит дата-центр мощностью 2GW в Луизиане (запуск 2026)
•OpenAI и Google: развивают мульти-датацентровое обучение
Синтетические данные становятся критически важными:
Anthropic продемонстрировала эффективный подход с моделью Claude 3.5. Компания использовала мощную версию Opus для генерации синтетических данных и улучшения экономичной версии Sonnet, достигнув высоких результатов без значительного увеличения затрат.
Революция в обучении ИИ - от людей к ИИ.
Старый подход: RLHF (Meta* потратила $20M на Llama 2)
Новый подход: RLAIF (обратная связь от ИИ).
Meta* обладает данными, превышающими объём публичного интернета в 100 раз. YouTube ежедневно получает 720,000 часов нового видеоконтента. Это открывает новые горизонты для обучения AI, особенно в обработке видеоданных.
Constitutional AI от Anthropic представляет новый подход к созданию этичных моделей с двухэтапной системой обучения.
Решения компаний:
- OpenAI: оптимизация inference-time
- Anthropic: двухуровневая модель (Opus/Sonnet)
- Meta: эффективные алгоритмы обучения.
Будущие тренды:
❗️Обработка видеоданных как новый источник знаний
❗️Мульти-датацентровое обучение
❗️Усиление способностей к рассуждению
❗️Автоматизация обратной связи
*запрещенная в РФ организация.
В индустрии нарастает напряжение между скептиками, заявляющими об исчерпании возможностей масштабирования языковых моделей, и реальными действиями технологических гигантов.
В то время как критики указывают на насыщение бенчмарков и истощение данных, крупнейшие компании демонстрируют уверенность масштабными инвестициями.
Гонка инфраструктуры:
• Amazon: инвестирует в 400,000 чипов Trainium2 для Anthropic
•Meta: строит дата-центр мощностью 2GW в Луизиане (запуск 2026)
•OpenAI и Google: развивают мульти-датацентровое обучение
Синтетические данные становятся критически важными:
Anthropic продемонстрировала эффективный подход с моделью Claude 3.5. Компания использовала мощную версию Opus для генерации синтетических данных и улучшения экономичной версии Sonnet, достигнув высоких результатов без значительного увеличения затрат.
Революция в обучении ИИ - от людей к ИИ.
Старый подход: RLHF (Meta* потратила $20M на Llama 2)
Новый подход: RLAIF (обратная связь от ИИ).
Meta* обладает данными, превышающими объём публичного интернета в 100 раз. YouTube ежедневно получает 720,000 часов нового видеоконтента. Это открывает новые горизонты для обучения AI, особенно в обработке видеоданных.
Constitutional AI от Anthropic представляет новый подход к созданию этичных моделей с двухэтапной системой обучения.
Решения компаний:
- OpenAI: оптимизация inference-time
- Anthropic: двухуровневая модель (Opus/Sonnet)
- Meta: эффективные алгоритмы обучения.
Будущие тренды:
❗️Обработка видеоданных как новый источник знаний
❗️Мульти-датацентровое обучение
❗️Усиление способностей к рассуждению
❗️Автоматизация обратной связи
*запрещенная в РФ организация.