👊 Новый лидер в нейроюморе - Gemini 3. Лучше генерирует и понимает шутки. 👊

Когда выходит новая версия каждой нейросети, я обязательно её тестирую на датасете, в котором нужно по набору зафиксированных сетапов закончить шутки. Это нужно мне для моей игры PunchMe, в которой помимо живых игроков играет ИИ бот Панчетрон. Кстати, иногда даже выигрывает.

Вот мои наблюдения:
* Все openai модели gpt от 3.5 до 5.1 очень плохи
* Новые версии Sonnet 4 и 4.5 слишком зацензурены и боятся всех обидеть
* Прошлые версии Gemini были неплохи и очень хорошо владели преколдесами русского языка
* Но до сих пор текущей SOTA (лучшей моделью) была старая модель Sonnet-3.7.

Теперь Gemini 3 бьёт её с небольшим преимуществом.

Ещё из интересных метрик: у меня есть датасет из 100 пар панчей для одного сетапа, где люди уверенно предпочитают один вариант другому. В нём действительно один из вариантов очевидно смешнее. Для человека.

Так вот, лучший результат разделения был 80% для gpt-5. Сейчас Gemini мощно усилил точность до 92%.

Кстати, в использовании Gemini 3 есть неочевидная проблема в том, что у неё вообще нельзя отключить режим размышлений, и любой запрос обходится в 1000+ токенов или примерно $0.01+.
Шутки за рубль, получается.