нужность бенчмарков и эвалов
- миру нужно больше писькомерок для моделей
- репост выше пытается сказать, что китайский кими к3 практически догнал опус 5
- cursor bench для меня выглядит как один из самых полезных эвалов на рынке на сегодня
- нет такой большой нужной популярной задачи как программирование для ллм
- создание супер-кодера это самая важная задача сегодня в мире
- важнее этой задачи не существует
- американские компании по слухам сажают всех своих сотрудников и программистов-разметчиков делать разметку кодинговых данных
- десятки тысяч людей по всей планете учат ллмки программировать
- мы точно дойдем до стадии, где ллм будут как калькулятор для программирования (в целом по ощущениям мы почти там уже)
- я глубоко убежден, что бОльшая часть бенчмарков хакается китайскими лабораториями
- они накручивают показатели именно этих бенчей и их модели тупые как пробки за пределами задач этих бенчей
- китайцы мастерски дистилят опус и гпт и находят всё новые и новые пути для дистила западных моделей
- в конечном счете китайцы точно постепенно догоняют американские модели
- но я не готов верить что сегодня китайские модели где-то близко к американским
- пожалуйста переубедите меня и скажите мне чего я не знаю
- миру нужно больше писькомерок для моделей
- репост выше пытается сказать, что китайский кими к3 практически догнал опус 5
- cursor bench для меня выглядит как один из самых полезных эвалов на рынке на сегодня
- нет такой большой нужной популярной задачи как программирование для ллм
- создание супер-кодера это самая важная задача сегодня в мире
- важнее этой задачи не существует
- американские компании по слухам сажают всех своих сотрудников и программистов-разметчиков делать разметку кодинговых данных
- десятки тысяч людей по всей планете учат ллмки программировать
- мы точно дойдем до стадии, где ллм будут как калькулятор для программирования (в целом по ощущениям мы почти там уже)
- я глубоко убежден, что бОльшая часть бенчмарков хакается китайскими лабораториями
- они накручивают показатели именно этих бенчей и их модели тупые как пробки за пределами задач этих бенчей
- китайцы мастерски дистилят опус и гпт и находят всё новые и новые пути для дистила западных моделей
- в конечном счете китайцы точно постепенно догоняют американские модели
- но я не готов верить что сегодня китайские модели где-то близко к американским
- пожалуйста переубедите меня и скажите мне чего я не знаю