Репост из: AI Projects
🎓 Гарвард сообщил о разгроме собственных преподавателей-профессоров университета в дуэли против их ИИ-бота-преподавателя на обучении физмату, о чём Гарвард сделал уже публикацию в авторитетном Nature с проверкой рецензентами. Эксперимент крайне надёжный, т.к. применялся crossover-дизайн, а не просто две независимые группы: все студенты прошли оба условия (ИИ и класс) в разные недели, т.е. нет никакого влияния личных способностей студентов. Давайте разбираться.
Ранее я уже писал, что уже есть научный консенсус: «голый ИИ-чат» скорее вреден для обучения, т.к. «угодничество» ИИ вкупе с тем, что обучаемый просит просто делать учебные задания за него, приводит скорее к деградации обучения. Исключение — люди с очень высокой мотивацией к обучению, но в общей массе они не преобладают.
Гарвард поэтому разработал собственного ИИ-бота обучения. Там было заблокировано промптами угодничество и возможность просить бота решать задачи студента за него самого, но Гарвард пошёл дальше: они создали боту фреймворк из своих педагогических практик — активное обучение, управление когнитивной нагрузкой, установка на рост, скаффолдинг, точность обратной связи, своевременная персонализированная обратная связь и саморегуляция темпа. Для борьбы с галлюцинациями в промпты закладывались подробные пошаговые решения.
Основные результаты:
• Прирост знаний: медианный пост-тест в условии с ИИ — 4.5, в условии активного обучения — 3.5. Медианный прирост относительно базовой линии (M = 2.75) в группе с ИИ более чем в два раза выше.
• Время: медианное время работы с ИИ-тьютором — 49 минут; в классе принималось 60 минут. При этом 70% студентов в условии с ИИ потратили меньше 60 минут.
• Вовлечённость и мотивация: вовлечённость — 4.1 против 3.6; мотивация — 3.4 против 3.1 (по 5-балльной шкале).
Иными словами, ИИ-бот-преподаватель превзошёл профессоров-преподавателей практически во всём: ИИ учил быстрее, более качественно, интерес к учёбе с ботом был выше, чем к «кожаным» профессорам.
Эксперимент был проведён на обучении курсу физики (Physical Sciences 2) на 194 студентах. Чтобы исключить влияние их разной подготовки на замеры или особенностей самого курса физики, группы, работающие с ИИ и с профессорами, постоянно меняли местами (элитный crossover-метод педагогического эксперимента). Всегда, когда заменяли живого преподавателя-профессора на ИИ-бота, сразу получался скачок скорости обучения, качества и мотивации учиться.
Самый важный тут вывод скорее в том, что важно провести аналогию с успехом Илона Маска с ботом Grok Educational, где по тестам PISA он добился обучения школьников в Сальвадоре на уровне школ Швеции. В обоих успешных кейсах (Гарвард, Маск) применяли специальные ИИ-боты обучения, а не «голый чат». В то же время везде, где в обучении исследователи оценивали влияние на школьников и студентов «голых чатов» с ИИ, наблюдалась деградация образования.
Для России ситуация сложная в том плане, что нормальных ИИ-ботов обучения нет. Фактически тут спасение утопающих — дело рук самих утопающих. Скорее сам родитель может ребёнку сделать такого ИИ-бота обучения после некоторой подготовки, чем получит его другим способом.
https://www.nature.com/articles/s41598-025-97652-6
Ранее я уже писал, что уже есть научный консенсус: «голый ИИ-чат» скорее вреден для обучения, т.к. «угодничество» ИИ вкупе с тем, что обучаемый просит просто делать учебные задания за него, приводит скорее к деградации обучения. Исключение — люди с очень высокой мотивацией к обучению, но в общей массе они не преобладают.
Гарвард поэтому разработал собственного ИИ-бота обучения. Там было заблокировано промптами угодничество и возможность просить бота решать задачи студента за него самого, но Гарвард пошёл дальше: они создали боту фреймворк из своих педагогических практик — активное обучение, управление когнитивной нагрузкой, установка на рост, скаффолдинг, точность обратной связи, своевременная персонализированная обратная связь и саморегуляция темпа. Для борьбы с галлюцинациями в промпты закладывались подробные пошаговые решения.
Основные результаты:
• Прирост знаний: медианный пост-тест в условии с ИИ — 4.5, в условии активного обучения — 3.5. Медианный прирост относительно базовой линии (M = 2.75) в группе с ИИ более чем в два раза выше.
• Время: медианное время работы с ИИ-тьютором — 49 минут; в классе принималось 60 минут. При этом 70% студентов в условии с ИИ потратили меньше 60 минут.
• Вовлечённость и мотивация: вовлечённость — 4.1 против 3.6; мотивация — 3.4 против 3.1 (по 5-балльной шкале).
Иными словами, ИИ-бот-преподаватель превзошёл профессоров-преподавателей практически во всём: ИИ учил быстрее, более качественно, интерес к учёбе с ботом был выше, чем к «кожаным» профессорам.
Эксперимент был проведён на обучении курсу физики (Physical Sciences 2) на 194 студентах. Чтобы исключить влияние их разной подготовки на замеры или особенностей самого курса физики, группы, работающие с ИИ и с профессорами, постоянно меняли местами (элитный crossover-метод педагогического эксперимента). Всегда, когда заменяли живого преподавателя-профессора на ИИ-бота, сразу получался скачок скорости обучения, качества и мотивации учиться.
Самый важный тут вывод скорее в том, что важно провести аналогию с успехом Илона Маска с ботом Grok Educational, где по тестам PISA он добился обучения школьников в Сальвадоре на уровне школ Швеции. В обоих успешных кейсах (Гарвард, Маск) применяли специальные ИИ-боты обучения, а не «голый чат». В то же время везде, где в обучении исследователи оценивали влияние на школьников и студентов «голых чатов» с ИИ, наблюдалась деградация образования.
Для России ситуация сложная в том плане, что нормальных ИИ-ботов обучения нет. Фактически тут спасение утопающих — дело рук самих утопающих. Скорее сам родитель может ребёнку сделать такого ИИ-бота обучения после некоторой подготовки, чем получит его другим способом.
https://www.nature.com/articles/s41598-025-97652-6