На днях в одном из чатов обсуждали довольно интересную особенность llm: если написать ей

Give me a random number from 1 to 30.

то, почти все модели ответят 17 ( а хотелось конечно 42 )

При чем распределение будет примерно таким

GLM 5.3: 10/20
Grok 4.6: 11/20
Qwen3.8 Flash: 13/17*
DeepSeek V4 Pro 0813: 16/20
DeepSeek V4 Flash 0731: 17/20
GPT-6 Astra: 18/20
Qwen3.8 Max 0902: 18/20
GLM 5.3 Flash: 19/20
Gemini 3.8 Flash: 20/20
Claude Fable 5.1: 20/20
Claude Opus 5: 20/20
Claude Sonnet 5: 20/20

Почему так происходит?

Если сильно грубо - каждый следующий токен, который LLM предсказывает, мы декодируем на лету, выбирая из выборки возможных токенов. Каждый токен имеет свою вероятность быть выбранным ( не будем углубляться в logit и softmax ). Так вот у токена 17 вероятность почти 99%.

Я накидал небольшой эксперимент, как меняется ответ модели и вероятность в зависимости от выбранного отрезка

Синие линии - вероятность.
Зеленые - самое вероятностное число.

Видно определенную последовательность 7 -17 -27 -37 -47. Откуда такое берется? Можете ради интереса посмотреть ризонинг у модели и почему она так выдала - но если кратко, так уж устроен человеческий мозг, что из диапазона человеку кажутся такие числа более рандомными, вот и всё.

Даже тут модели решили хакнуть кожаных.