Апдейт по сортировке LLM
Помните пост про TrueSkill и сортировку контента? Друг-аналитик заметил, что я считал корреляцию по-разному: где-то брал score (оценку 1-100), где-то rank (место в рейтинге).
Пересчитал всё единообразно. Итог по корреляции с реальными репостами:
🥇 TrueSkill Batch — 0.46
🥈 TrueSkill Pairwise — 0.42
🥉 Score — 0.41
4️⃣ Score + Reasoning — 0.30
💀 Bulk — минус 0.27
Главный вывод не изменился: Bulk ранжирует посты в обратном порядке из-за positional bias. Не сгружайте LLM длинные списки.
Написал детальный разбор всех методов на Хабр — с кодом, таблицами и демо:
👉 https://habr.com/ru/articles/987538/
Первая статья там, буду рад поддержке 🙏
----
Поляков считает — AI, код и кейсы
Помните пост про TrueSkill и сортировку контента? Друг-аналитик заметил, что я считал корреляцию по-разному: где-то брал score (оценку 1-100), где-то rank (место в рейтинге).
Пересчитал всё единообразно. Итог по корреляции с реальными репостами:
🥇 TrueSkill Batch — 0.46
🥈 TrueSkill Pairwise — 0.42
🥉 Score — 0.41
4️⃣ Score + Reasoning — 0.30
💀 Bulk — минус 0.27
Главный вывод не изменился: Bulk ранжирует посты в обратном порядке из-за positional bias. Не сгружайте LLM длинные списки.
Написал детальный разбор всех методов на Хабр — с кодом, таблицами и демо:
👉 https://habr.com/ru/articles/987538/
Первая статья там, буду рад поддержке 🙏
----
Поляков считает — AI, код и кейсы