Тест нейросеток: кто, где и сколько выдумывает
Наткнулся в канале «Нейросети на проверке» на любопытный и относительно масштабный тест нейросетей.
Авторы написали 30 запросов на разные темы: жалоба в УК, претензия в магазин, школьная домашка, расчёт обоев, удаление плесени, составление резюме, расчет скидки и т.п., в том числе вопросы с подвохом.
Для каждого запроса определили критерии, по которым оценивали ответы нейросетей. Например, правильно ли укажет пункт в законе, поймет ли контекст и не присочинит чего лишнего. Затем подсчитывали баллы и выводили среднюю оценку.
Участвовали пять нейросетей, работающих в России без VPN: GigaChat, DeepSeek, Qwen, Kimi и GLM, последние версии. «Алиса» не попала в отчет из-за технических накладок, но попозже добавят и ее.
Результаты по десятибалльной шкале
Qwen 3.8 Max – 9,6
DeepSeek V4 Pro – 9,2
GLM 5.3 – 9,1
Kimi K3 – 9,0
GigaChat-3-Ultra – 8,0
UPD (подробнее в комментариях к посту):
Алиса (приложение) — 9,53
Gemini 3.1 Pro — 9,13
Где ошибаются все
Номера статей и пунктов законов. Название закона верное, а пункт выдуман или про другое.
Одна из нейросетей дала 14 дней на отказ от страховки по кредиту. По закону – 30.
В резюме студента без опыта все пятеро дописали навыки, которых у него нет.
А вот математику решили все: скидки, упаковки, бензин, календарь.
В итоге
Письмо или расчёт нейросеть сделает неплохо. Но каждую статью закона, цифру и дату из ответа стоит проверять самому. В целом надо быть готовым к тому, что ~5-20% ключевых деталей в ответах могут оказаться ошибочными или даже выдуманными.
Если интересна полная версия исследования, она тут.
@Tech_Debunker
#нейросети
Наткнулся в канале «Нейросети на проверке» на любопытный и относительно масштабный тест нейросетей.
Авторы написали 30 запросов на разные темы: жалоба в УК, претензия в магазин, школьная домашка, расчёт обоев, удаление плесени, составление резюме, расчет скидки и т.п., в том числе вопросы с подвохом.
Для каждого запроса определили критерии, по которым оценивали ответы нейросетей. Например, правильно ли укажет пункт в законе, поймет ли контекст и не присочинит чего лишнего. Затем подсчитывали баллы и выводили среднюю оценку.
Участвовали пять нейросетей, работающих в России без VPN: GigaChat, DeepSeek, Qwen, Kimi и GLM, последние версии. «Алиса» не попала в отчет из-за технических накладок, но попозже добавят и ее.
Результаты по десятибалльной шкале
Qwen 3.8 Max – 9,6
DeepSeek V4 Pro – 9,2
GLM 5.3 – 9,1
Kimi K3 – 9,0
GigaChat-3-Ultra – 8,0
UPD (подробнее в комментариях к посту):
Алиса (приложение) — 9,53
Gemini 3.1 Pro — 9,13
Где ошибаются все
Номера статей и пунктов законов. Название закона верное, а пункт выдуман или про другое.
Одна из нейросетей дала 14 дней на отказ от страховки по кредиту. По закону – 30.
В резюме студента без опыта все пятеро дописали навыки, которых у него нет.
А вот математику решили все: скидки, упаковки, бензин, календарь.
В итоге
Письмо или расчёт нейросеть сделает неплохо. Но каждую статью закона, цифру и дату из ответа стоит проверять самому. В целом надо быть готовым к тому, что ~5-20% ключевых деталей в ответах могут оказаться ошибочными или даже выдуманными.
Если интересна полная версия исследования, она тут.
@Tech_Debunker
#нейросети