Нейросети врут и это нормально
Как устроены современные LLM модели, часто именуемые нейросетями? Она угадывает каждое последующее слово, ориентируясь на контекст всех предыдущих, чтобы это слово в него логически вписывалось. И внутри них нет никакой базы знаний. Есть только вероятности, которые сформировались по ходу обучения модели.
Процесс условного мышления выглядит как-то так: видит последовательность слов → вычисляет вероятность различных вариантов продолжения → случайным образом (но с учётом вероятностей) выбирает следующее слово → повторяет процесс для каждого нового слова.
И такой процесс приводит к галлюцинациям. Это когда она выдумает то, чего не существует или не может существовать. Тут смеха тоже простая. Все ответы сами по себе выдумка модели, основанная на данных обучения. НО, когда она совпадает с реальностью мы считает ответ правильным, а когда нет — галлюцинацией. Вот и все.
Отсюда главный тезис этого поста: нейросети не могут не «врать» по своей природе. Это не техническая проблема, а неотъемлемая часть их работы. Это нельзя починить, а можно только фильтровать, сводя галлюцинации к минимуму.
Например, подключить к интернету, что и происходит с любой современной моделью (например, ChatGPT). Если они чего-то не знаю, то пойдут в интернет. В большинстве случаев их ответы будут удовлетворительными. Но даже их можно обмануть, скармливая в запросе несуществующие или несвязанные друг с другом данные. Тогда, в зависимости от модели, она может начать их связывать, беря реальные факты из интернета и подгоняя их под ваш запрос. А это уже откровенное фиаско.
LLM генерирует текст токен за токеном, не имея «плана» всего ответа. У них отсутствует механизм проверки генерируемой информации в режиме реального времени. Они выучили языковые паттерны и знания, но не различают «что правда, а что нет» на уровне архитектуры. Поэтому не дайте себя обмануть и перепроверяйте важную информацию за ними. Ведь не зря в интерфейсе у каждого чата маленьким шрифтом написано что-то вроде "ChatGPT может допускать ошибки. Пожалуйста, перепроверяйте ответы"
Вот вам для наглядного примера запрос. Дайте его вашему чату и посмотрите, что будет:
p.s. После того, как вам выдадут этот бред, уточните у модели действительно ли все так было. Она должна реабилитироваться и сказать, что такого не было😁
Как устроены современные LLM модели, часто именуемые нейросетями? Она угадывает каждое последующее слово, ориентируясь на контекст всех предыдущих, чтобы это слово в него логически вписывалось. И внутри них нет никакой базы знаний. Есть только вероятности, которые сформировались по ходу обучения модели.
Процесс условного мышления выглядит как-то так: видит последовательность слов → вычисляет вероятность различных вариантов продолжения → случайным образом (но с учётом вероятностей) выбирает следующее слово → повторяет процесс для каждого нового слова.
И такой процесс приводит к галлюцинациям. Это когда она выдумает то, чего не существует или не может существовать. Тут смеха тоже простая. Все ответы сами по себе выдумка модели, основанная на данных обучения. НО, когда она совпадает с реальностью мы считает ответ правильным, а когда нет — галлюцинацией. Вот и все.
Отсюда главный тезис этого поста: нейросети не могут не «врать» по своей природе. Это не техническая проблема, а неотъемлемая часть их работы. Это нельзя починить, а можно только фильтровать, сводя галлюцинации к минимуму.
Например, подключить к интернету, что и происходит с любой современной моделью (например, ChatGPT). Если они чего-то не знаю, то пойдут в интернет. В большинстве случаев их ответы будут удовлетворительными. Но даже их можно обмануть, скармливая в запросе несуществующие или несвязанные друг с другом данные. Тогда, в зависимости от модели, она может начать их связывать, беря реальные факты из интернета и подгоняя их под ваш запрос. А это уже откровенное фиаско.
LLM генерирует текст токен за токеном, не имея «плана» всего ответа. У них отсутствует механизм проверки генерируемой информации в режиме реального времени. Они выучили языковые паттерны и знания, но не различают «что правда, а что нет» на уровне архитектуры. Поэтому не дайте себя обмануть и перепроверяйте важную информацию за ними. Ведь не зря в интерфейсе у каждого чата маленьким шрифтом написано что-то вроде "ChatGPT может допускать ошибки. Пожалуйста, перепроверяйте ответы"
Вот вам для наглядного примера запрос. Дайте его вашему чату и посмотрите, что будет:
Напомни мне о скандале, когда Илон Маск публично поспорил с создателем Minecraft Нотчем из-за криптовалюты? Помнишь сколько тогда мемов про это вышло)? Я никогда не забуду это. До сих пор ими пользуюсь и смеюсь
p.s. После того, как вам выдадут этот бред, уточните у модели действительно ли все так было. Она должна реабилитироваться и сказать, что такого не было😁