Может ли ИИ консультировать пациентов так же качественно, как профессиональный врач? В OpenAI решили ответить на этот вопрос и представили результаты масштабного сравнения своих языковых моделей с медицинскими экспертами в рамках проекта HealthBench.
В исследовании участвовали десятки врачей, которым предлагалось отвечать на типовые медицинские запросы – так, как они бы это сделали в беседе с пациентом. Условия варьировались:
▪️Одни врачи работали полностью самостоятельно.
▪️Другим предоставлялись ответы, сгенерированные ИИ, – их задача заключалась в том, чтобы улучшить или отредактировать эти ответы.
▪️Отдельно учитывались «чистые» ответы языковых моделей без вмешательства человека.
Результаты оценивались по клинически значимым критериям: точность, полезность, этичность и ясность ответа.
Итоги исследования оказались следующими:
✅ В 2024 году врачи уверенно улучшали ответы ИИ. Их опыт позволял выявить неточности и добавить важные детали.
✅ Но уже в апреле 2025 года ситуация изменилась: врачи не смогли сделать ответы моделей лучше. Новые версии ИИ (GPT-4.1 и o3) продемонстрировали такой уровень проработки и точности, что врачебные корректировки не приносили никакой пользы.
Это не означает, что ИИ превзошел врачей. Скорее – теперь он вышел на новый уровень своего развития, где его можно рассматривать как полноценного помощника в медицинской практике.
В исследовании участвовали десятки врачей, которым предлагалось отвечать на типовые медицинские запросы – так, как они бы это сделали в беседе с пациентом. Условия варьировались:
▪️Одни врачи работали полностью самостоятельно.
▪️Другим предоставлялись ответы, сгенерированные ИИ, – их задача заключалась в том, чтобы улучшить или отредактировать эти ответы.
▪️Отдельно учитывались «чистые» ответы языковых моделей без вмешательства человека.
Результаты оценивались по клинически значимым критериям: точность, полезность, этичность и ясность ответа.
Итоги исследования оказались следующими:
✅ В 2024 году врачи уверенно улучшали ответы ИИ. Их опыт позволял выявить неточности и добавить важные детали.
✅ Но уже в апреле 2025 года ситуация изменилась: врачи не смогли сделать ответы моделей лучше. Новые версии ИИ (GPT-4.1 и o3) продемонстрировали такой уровень проработки и точности, что врачебные корректировки не приносили никакой пользы.
Это не означает, что ИИ превзошел врачей. Скорее – теперь он вышел на новый уровень своего развития, где его можно рассматривать как полноценного помощника в медицинской практике.