Илья Суцкевер, сооснователь и бывший научный директор OpenAI, выступил на, пожалуй, крупнейшей конференции на тему AI — NeurIPS в Ванкувере, — с интересным прогнозом — он считает, что эра предварительного обучения моделей (pre-training) на данных из интернета подходит к концу, поскольку эти данные конечны. "Интернет один, новых данных не появится", — заявил он и назвал данные ископаемым топливом для обучения AI.

Суцкевер полагает, что следующее поколение моделей будет обладать агентностью — то есть способностью самостоятельно принимать решения и выполнять задачи — и сможет рассуждать, а не просто сопоставлять шаблоны на основе ранее увиденного. Правда, чем больше система рассуждает, тем менее предсказуемой она становится — как непредсказуемы для лучших шахматистов продвинутые шахматные AI.

Он также провел любопытную параллель между масштабированием AI-систем и эволюционной биологией, отметив, что у гоминид (предков человека) соотношение массы мозга к массе тела отличается от других млекопитающих. По его мнению, как эволюция нашла новый паттерн масштабирования для мозга гоминид, так и AI может найти новые подходы к масштабированию, выходящие за рамки современного pre-training.

https://www.theverge.com/2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training