# Может ли LLM написать книгу за меня: эксперимент

Я пишу книгу про ИИ и периодически проверяю может ли LLM написать её за меня. В начале шансов не было вообще, но за 7 месяцев, что я пишу, модели несколько раз резко улучшались. Книга служит моим личным бенчмарком.

Недавно я решил провести два эксперимента:
1. Закинуть маленький A/B тест в чатики: посмотреть могут ли люди определить какой фрагмент из двух написал я, а какой нет. И какой им больше нравится.
2. А/Б тест на друзьях: сделать две версии одной главы, одну от себя, другую от LLM и попросить моих друзей вслепую определить какая им больше нравится.

Расскажу вам что получилось и какие можно сделать выводы.

Начнем с первого. Вот вопрос который я закидывал в чатики, можете себя проверить.

Даны два фрагмента. Один из моих черновиков книги, другой я сгенерировал с помощью Gemini Pro 2.5. Угадайте где какой.

В следующем посте будет ответ.

A

## Когда обучения слишком много

Представьте, что вы готовитесь к экзамену. Вы можете выучить билеты наизусть, до последней запятой. На экзамене вы блестяще ответите на эти билеты. Но если вам зададут вопрос чуть в сторону, вы поплывете. Вы не поняли суть предмета, а просто запомнили конкретные ответы.

Модель машинного обучения может сделать то же самое. Она может слишком хорошо "вызубрить" обучающие данные, включая случайный шум и неважные детали. Такое явление называется *переобучением* (overfitting).

Переобученная модель отлично работает на данных, которые она видела во время обучения, но плохо справляется с новыми, незнакомыми данными. Это одна из главных бед машинного обучения.

B

## Когда обучения слишком много

Представьте себе двух студентов перед экзаменом по анатомии.

Первый студент, зубрила, заучил билеты как стихи перед уроком литературы. То есть буквально запомнил их от начала и до конца, но ничего не понял. Он сдаст экзамен на пять, но будет совершенно бессилен когда ему потребуется применить свои знания для помощи пациентам. Он умеет воспроизводить определенные ответы на вопросы и только.

Второй студент изучил дисциплину, а не заучивал конкретные билеты. В его голове сформировалось представление о том, как всё работает в человеческом теле. Он имеет может ошибиться на экзамене, ведь у него нет заготовленных ответов и ему приходится думать над вопросами. Однако в реальном мире я предпочел бы лечиться у него, а не у зубрилы.

Студент это, считайте, модель, а оценка за экзамен это метрика. Модели машинного обучения похожи на студентов ещё и тем, что оба точно пойдут самым простым путем, чтобы сдать свой экзамен. Если вы сделаете такой процесс оценки качества, что модели будет проще заучить ответы, она заучит ответы. Кажется что-то подобное произошло со страховой моделью. Наша модель с исками похожа на студента-зубрилу. Она успешно сдала свой экзамен, но оказалась бесполезной в реальном мире. В таких случаях говорят, что модель _переобучилась_ и что она _не обобщается_.

Трагедия искусственного интеллекта в том, что мы обучаем модели на тренировочных данных, но не хотим, чтобы они выучили их слишком хорошо.