Главная граница между текущим ИИ, и реальным ИИ (ASI, сильный ИИ или сверхчеловеческий ИИ) не в сложности задач, которые он сможет решать, а в том, какие задачи он захочет решать.
Да, это всё то же отличие объектности от субъектности.

Все страхи про сильный ИИ по сути сводятся к тому, что сильный ИИ решит делать что-то, что противоречит интересам человечества и мы не сможем ему помешать.

Сам факт обретения субъектности у ИИ будет экзистенциальным риском для человечества, хотя на столе лежат ещё две карты - ИИ автономно поставит себе цели нейтральные либо положительные относительно интересам человечества.

Мы не готовы рисковать, когда риск экзистенциальный, но нам придется. Потому что однажды наши усилия по усилению автономности ИИ дадут, плоды, которые придется вкусить…