Это достойно вашего внимания: 2 легенды Google в 1 интервью. Ноам Шазир и Джефф Дин.
2 огромные фигуры, влияющие на развитие ИИ. Дин - глава науки в Google, а Ноам - сегодня главный ответственный за прорывные технологии ИИ в Google.
Ноама Шазира Google уже 2 раза возвращает в компанию. Последний раз это произошло в 2024 году, тогда корпорация выкупила его за ~$3 млрд. Как шутит сам Ноам : «Я возвращаюсь в Google каждые 12 лет».
Исходя из этого видео, вы многое можете узнать о роли Джеффа Дина, он один из главных людей в Google, реально великий.
Интервью показывает, что Google находится гораздо дальше в развитии ИИ, чем публично показывает, и готовится к радикальным изменениям в архитектуре и возможностях систем ИИ в ближайшие годы.
Что интересного есть ещё в интервью:
1. Внутреннее использование ИИ в корпорации.
- 25% кода в Google уже пишется с помощью ИИ
- Google уже обучил специальную версию Gemini на своей внутренней кодовой базе
- Существует внутренняя чат-система MENA, которая использовалась сотрудниками еще до ChatGPT
2. ТЕКУЩИЕ РАЗРАБОТКИ
- Google работает над увеличением контекстного окна до триллионов токенов
- Разрабатывается новая версия TPU, специально оптимизированная для inference
- Внедряется система распределенного обучения между несколькими дата-центрами
НОВАЯ ПАРАДИГМА РАЗВИТИЯ ИИ:
- Переход от "обучения с нуля" к постоянному улучшению существующих моделей
- Развитие модульной архитектуры, где разные части модели специализируются на разных задачах
- Возможность асинхронного улучшения отдельных компонентов
ЭКОНОМИКА ВЫЧИСЛЕНИЙ
- Стоимость операций ИИ уже в 100 раз дешевле чтения книги
- В 10000 раз дешевле разговора с агентом поддержки
- В миллион раз дешевле найма разработчика
Исходя из того, что говорят Дин и Шазир, можно предположить, что есть более продвинутая версия Gemini, способная к долгосрочному планированию.
Наличие системы автоматизированного дизайна чипов. Продвинутые системы code generation, превосходящие публично доступные
Каким видят будущее ИИ?
1. Переход к "органическим" архитектурам с самоадаптацией
2. Развитие моделей, способных управлять тысячами параллельных задач
3. Интеграция с персональными данными пользователей (email, документы, фото).
БУДУЩЕЕ АППАРАТНОЙ ЧАСТИ:
- Радикальное сокращение цикла разработки чипов (с 18 месяцев до недель)
- Специализация чипов под конкретные задачи
- Развитие распределенных систем обучения между дата-центрами
БУДУЩЕЕ ЦОДов:
- Переход к распределенной архитектуре с множеством специализированных центров
- Развитие асинхронных систем обучения с гарантированной воспроизводимостью
- Оптимизация под inference вместо training
КЛЮЧЕВЫЕ РИСКИ И ВЫЗОВЫ:
1. Экспоненциальный рост возможностей может привести к быстрому достижению сверхчеловеческого интеллекта
2. Сложности с контролем и безопасностью при распределенной архитектуре
3. Необходимость огромных энергетических ресурсов (упоминаются атомные электростанции)
2 огромные фигуры, влияющие на развитие ИИ. Дин - глава науки в Google, а Ноам - сегодня главный ответственный за прорывные технологии ИИ в Google.
Ноама Шазира Google уже 2 раза возвращает в компанию. Последний раз это произошло в 2024 году, тогда корпорация выкупила его за ~$3 млрд. Как шутит сам Ноам : «Я возвращаюсь в Google каждые 12 лет».
Исходя из этого видео, вы многое можете узнать о роли Джеффа Дина, он один из главных людей в Google, реально великий.
Интервью показывает, что Google находится гораздо дальше в развитии ИИ, чем публично показывает, и готовится к радикальным изменениям в архитектуре и возможностях систем ИИ в ближайшие годы.
Что интересного есть ещё в интервью:
1. Внутреннее использование ИИ в корпорации.
- 25% кода в Google уже пишется с помощью ИИ
- Google уже обучил специальную версию Gemini на своей внутренней кодовой базе
- Существует внутренняя чат-система MENA, которая использовалась сотрудниками еще до ChatGPT
2. ТЕКУЩИЕ РАЗРАБОТКИ
- Google работает над увеличением контекстного окна до триллионов токенов
- Разрабатывается новая версия TPU, специально оптимизированная для inference
- Внедряется система распределенного обучения между несколькими дата-центрами
НОВАЯ ПАРАДИГМА РАЗВИТИЯ ИИ:
- Переход от "обучения с нуля" к постоянному улучшению существующих моделей
- Развитие модульной архитектуры, где разные части модели специализируются на разных задачах
- Возможность асинхронного улучшения отдельных компонентов
ЭКОНОМИКА ВЫЧИСЛЕНИЙ
- Стоимость операций ИИ уже в 100 раз дешевле чтения книги
- В 10000 раз дешевле разговора с агентом поддержки
- В миллион раз дешевле найма разработчика
Исходя из того, что говорят Дин и Шазир, можно предположить, что есть более продвинутая версия Gemini, способная к долгосрочному планированию.
Наличие системы автоматизированного дизайна чипов. Продвинутые системы code generation, превосходящие публично доступные
Каким видят будущее ИИ?
1. Переход к "органическим" архитектурам с самоадаптацией
2. Развитие моделей, способных управлять тысячами параллельных задач
3. Интеграция с персональными данными пользователей (email, документы, фото).
БУДУЩЕЕ АППАРАТНОЙ ЧАСТИ:
- Радикальное сокращение цикла разработки чипов (с 18 месяцев до недель)
- Специализация чипов под конкретные задачи
- Развитие распределенных систем обучения между дата-центрами
БУДУЩЕЕ ЦОДов:
- Переход к распределенной архитектуре с множеством специализированных центров
- Развитие асинхронных систем обучения с гарантированной воспроизводимостью
- Оптимизация под inference вместо training
КЛЮЧЕВЫЕ РИСКИ И ВЫЗОВЫ:
1. Экспоненциальный рост возможностей может привести к быстрому достижению сверхчеловеческого интеллекта
2. Сложности с контролем и безопасностью при распределенной архитектуре
3. Необходимость огромных энергетических ресурсов (упоминаются атомные электростанции)