Метакогниции для ИИ
Несколько раз видел, как пишут, что ChatGPT необходима уверенность[1, 2]. Точнее способность давать оценку уверенности в своих ответах. Пока что этого нет. На прямой вопрос “насколько ты уверена в своих ответах“ ChatGPT отвечать отказывается*.
Метакогниции очень важны для человеческого познания и, скорее всего, сознания. На эту тему можно почитать (уже классическую) статью про сознание и ИИ, а также посмотреть мою старую лекцию. Кажется, прикрутить оценку уверенности к большим языковым моделям будет важной задачей ближайшего времени.
Если кто-то знает работы, где пытались научить нейросети оценивать уверенность/неопределённость в своих ответах – напишите, пожалуйста, в комментариях, это очень интересно. Я помню только одну старую работу с очень простыми сетками и одну современную – с глубокими нейросетями.
*Так было ещё пару недель назад. Сейчас я перепроверил, и на простые фактологические вопросы ChatGPT выдаёт фразы о том, что она уверена.
Несколько раз видел, как пишут, что ChatGPT необходима уверенность[1, 2]. Точнее способность давать оценку уверенности в своих ответах. Пока что этого нет. На прямой вопрос “насколько ты уверена в своих ответах“ ChatGPT отвечать отказывается*.
Метакогниции очень важны для человеческого познания и, скорее всего, сознания. На эту тему можно почитать (уже классическую) статью про сознание и ИИ, а также посмотреть мою старую лекцию. Кажется, прикрутить оценку уверенности к большим языковым моделям будет важной задачей ближайшего времени.
Если кто-то знает работы, где пытались научить нейросети оценивать уверенность/неопределённость в своих ответах – напишите, пожалуйста, в комментариях, это очень интересно. Я помню только одну старую работу с очень простыми сетками и одну современную – с глубокими нейросетями.
*Так было ещё пару недель назад. Сейчас я перепроверил, и на простые фактологические вопросы ChatGPT выдаёт фразы о том, что она уверена.