1-я статья OpenAI о реальном использовании GPT-5 в науке
Исследователи из OpenAI и нескольких университетов попробовали использовать GPT-5 для разных научных задач. И вот какие результаты:
В части поиска литературы работает хорошо, нашёл существующие решения для 10 задач из базы нерешённых проблем Эрдёша. Это те самые задачи, из-за которых был скандал в октябре.
Проверка идей и вычисления,
ускоряет рутину.
В биологии есть у них
интересный кейс - анализ экспериментов с иммунными клетками. GPT-5 предложил механизм, который не был очевиден экспертам в области. Модель также правильно предсказала результаты непубликованных экспериментов. Исследователь отметил: «GPT-5 внёс большой вклад для соавторства, но в реальной публикации его не указали».
Что не работает?
1. Модель может настойчиво защищать неправильные решения
2. Иногда выдумывает несуществующие статьи
3. Результат зависит от формулировки вопроса
4. Без проверки человеком результаты ненадёжны
5. GPT-5 воспроизвёл чужое доказательство, не указав источник. Исследователи чуть не опубликовали это как своё.
Исследователи из OpenAI и нескольких университетов попробовали использовать GPT-5 для разных научных задач. И вот какие результаты:
В части поиска литературы работает хорошо, нашёл существующие решения для 10 задач из базы нерешённых проблем Эрдёша. Это те самые задачи, из-за которых был скандал в октябре.
Проверка идей и вычисления,
ускоряет рутину.
В биологии есть у них
интересный кейс - анализ экспериментов с иммунными клетками. GPT-5 предложил механизм, который не был очевиден экспертам в области. Модель также правильно предсказала результаты непубликованных экспериментов. Исследователь отметил: «GPT-5 внёс большой вклад для соавторства, но в реальной публикации его не указали».
Что не работает?
1. Модель может настойчиво защищать неправильные решения
2. Иногда выдумывает несуществующие статьи
3. Результат зависит от формулировки вопроса
4. Без проверки человеком результаты ненадёжны
5. GPT-5 воспроизвёл чужое доказательство, не указав источник. Исследователи чуть не опубликовали это как своё.