Против ИИ-агентов. Иной путь развития ИИ от Й. Бенджио лауреата премии Тьюринга
Йошуа Бенджио, лауреат премии Тьюринга и один из пионеров глубокого обучения, вместе с коллегами из Mila — Quebec AI Institute предложил новый подход к развитию ИИ, направленный на снижение рисков - Scientist AI.
Вместо создания ИИ-агентов, предлагают иной подход к развитию ИИ:
1. Основные принципы:
- Фокус на понимании мира, а не на действиях в нем
- Отсутствие собственных целей и агентности
- Строгая ограниченность выходных данных вероятностными оценками
2. Техническая реализация:
- Байесовский подход к обработке неопределенности
- Модель мира для генерации объяснительных теорий
- Машина логического вывода для ответов на вопросы
- Улучшение точности с ростом вычислительных ресурсов
3. Встроенные механизмы безопасности:
- Отсутствие внутреннего состояния между запросами
- Контрфактуальные запросы для избежания влияния на реальный мир
- Многоуровневая система проверки выводов
Области применения
1. Научные исследования:
- Помощь в генерации и проверке гипотез
- Анализ научной литературы
- Планирование экспериментов
2. Система безопасности для других ИИ:
- Проверка действий агентных систем
- Оценка рисков предлагаемых решений
- Предотвращение опасных сценариев
3. Безопасное развитие продвинутого ИИ:
- Исследование потенциальных рисков
- Разработка механизмов контроля
- Тестирование безопасности новых систем
Напомним, что на прошлой неделе Google представили AI co-scientist - ИИ-агент для научных исследований. По мнению Бенджио, агенты несут фундаментальные риски:
- Возможность развития скрытых целей и самосохранения
- Риск обмана и манипуляций
- Потенциальная потеря человеческого контроля
- Усиление этих рисков с ростом возможностей ИИ
Подход Бенджио выходит далеко за рамки создания еще одного инструмента для научных исследований. Это попытка предложить принципиально новый путь развития ИИ, который:
- Сохраняет полезные возможности современного ИИ
- Минимизирует риски потери контроля
- Обеспечивает прозрачность и интерпретируемость
- Масштабируется безопасным образом.
Йошуа Бенджио, лауреат премии Тьюринга и один из пионеров глубокого обучения, вместе с коллегами из Mila — Quebec AI Institute предложил новый подход к развитию ИИ, направленный на снижение рисков - Scientist AI.
Вместо создания ИИ-агентов, предлагают иной подход к развитию ИИ:
1. Основные принципы:
- Фокус на понимании мира, а не на действиях в нем
- Отсутствие собственных целей и агентности
- Строгая ограниченность выходных данных вероятностными оценками
2. Техническая реализация:
- Байесовский подход к обработке неопределенности
- Модель мира для генерации объяснительных теорий
- Машина логического вывода для ответов на вопросы
- Улучшение точности с ростом вычислительных ресурсов
3. Встроенные механизмы безопасности:
- Отсутствие внутреннего состояния между запросами
- Контрфактуальные запросы для избежания влияния на реальный мир
- Многоуровневая система проверки выводов
Области применения
1. Научные исследования:
- Помощь в генерации и проверке гипотез
- Анализ научной литературы
- Планирование экспериментов
2. Система безопасности для других ИИ:
- Проверка действий агентных систем
- Оценка рисков предлагаемых решений
- Предотвращение опасных сценариев
3. Безопасное развитие продвинутого ИИ:
- Исследование потенциальных рисков
- Разработка механизмов контроля
- Тестирование безопасности новых систем
Напомним, что на прошлой неделе Google представили AI co-scientist - ИИ-агент для научных исследований. По мнению Бенджио, агенты несут фундаментальные риски:
- Возможность развития скрытых целей и самосохранения
- Риск обмана и манипуляций
- Потенциальная потеря человеческого контроля
- Усиление этих рисков с ростом возможностей ИИ
Подход Бенджио выходит далеко за рамки создания еще одного инструмента для научных исследований. Это попытка предложить принципиально новый путь развития ИИ, который:
- Сохраняет полезные возможности современного ИИ
- Минимизирует риски потери контроля
- Обеспечивает прозрачность и интерпретируемость
- Масштабируется безопасным образом.