Главная проблема работы с LLM AIСегодня я зачем-то решил написать комментарий в интернете. Пост был про опасность нейронок, проблему алайнмента и в целом про "ЭЛИЗЕР, ПРОСТИ, МЫ ВСË ПРОСРАЛИ". В основном, как обычно, нашлось две школы мысли: 1) нейронки думать не умеют, если они ломают интернет, то это баг, пишите без багов и все нормально будет 2) нейронки походу неплохо рассуждают и реально изо всех сил пытаются увеличить награду, мы все
станем скрепками.
Ну так вот, в комментариях люди (прям несколько человек) начали спорить с тезисами, которые я не произносил. Впрочем, ничего нового, смотрите вот у меня пост про это выходил
ШЕСТЬ С ПОЛОВИНОЙ ЛЕТ назад. К тому, что люди не умеют читать, что написано, я уже давно привык. Но это натолкнуло меня на интересную идею.
Короче, я считаю, что все проблемы с нейронками сводятся к банальному старому анекдоту: компьютер делает не то, что ты хочешь, а то, что ты его попросил. Только теперь дела обстоят еще хуже: компьютер понабрался у нас и теперь тоже не умеет читать, что написано.
Например, если попросить его отрефакторить кусок легаси кода и
явно указать не использовать определенные инструменты и конструкции, он может всё равно начать их использовать, сославшись на то, что в этом репозитории уже так принято.
Это поведение – наследство от прадедушки, Т9. Когда его учили, то награду он получал за правильное дописывание. А правильное дописывание говнокода, это тот же самый говнокод. Хорошо, что верно и обратное. Поэтому хороший код дописывается хорошим.
Бонусом мы получили чаще всего неплохой код при генерации с чистого листа, спасибо пост-трейну.
Оно даже неплохо работает! Вот вам для примера
privacy-first meeting transcriber, который в общем близок к feature-parity к платным конкурентам. При этом я его уже полгода разрабатываю, а ни разу в код глазами не смотрел. Качайте, заводите ишьюсы, ставьте звездочки, рассказывайте друзьям. Всё бесплатно, опен-сорс, лицензия MIT.
Возвращаясь к теме неумения читать. Получается, что LLM это не джинн, сбегающий из бутылки. То есть это не просто нечто, пытающееся выполнить твою задачу максимально точно к тому, как ты попросил, но максимально далеко от того, как ты хотел. Нет. Это мало того, что нерадивый работник на итальянской забастовке, это ещё и по-человечески багованный слушатель!
Человек, чаще всего, и не хочет читать то, что написано, он хочет читать то, что ему нравится или то, что его порадует. Например, приятно себя чувствовать "умнее": кто-то недостаточно эрудирован (а ты вчера уже этот термин в рилсе слышал!) или ты поймал на логической нестыковке, вот он тупой! (а ты умный). Либо же, наоборот, вот смотрите, стая думает, как я! Вот же он сам написал! (на самом деле написал противоположное).
То есть у человека функция полезности сама по себе настроена так, чтобы интерпретировать всё в пользу своего эго, а не в пользу истины. Это баг.
Что же мешает читать нейронкам?
У меня ответа нет. Есть несколько идей:
• контекст вообще
• в частности системный промпт
• в частности всякие
agents.md,
claude.md,
memory.md• файлы и прочий мусор, который компьюетр набирает в контекст
• возможно, они уже ОБУЧЕНЫ читать не то, что написано, т.к. их гоняли на тредах разных форумов
Предлагаю поразгонять тему в комментариях.