Промпт "ты - эксперт" не повышает точность ответов LLM
Гайды по промптингу, особенно в материалах свежеиспеченных AI-экспертов, советуют начинать промпт с роли: "Ты - опытный юрист", "Ты - senior data scientist". Zheng, Pei и др. (Findings of ACL) еще в 2023-2024 году проверили, влияет ли это на точность в задачах с проверяемым ответом. https://arxiv.org/abs/2311.10054
Для экспериментов выбрали 162 роли: 112 профессий (юрист, геолог, "Medical Diagnostic AI", "helpful assistant") и 50 социальных (мать, коллега, друг). В исследовании участвовало 9 моделей: Flan-T5-XXL, Llama-3 8B и 70B, Mistral-7B, Qwen2.5 от 3B до 72B. Для оценки точности использовали 2410 вопросов MMLU. Форматы "Ты - {роль}" и "Ты разговариваешь с {роль}", контроль - вопрос без роли.
В результате выяснилось, что точность ответов либо на том же уровне, что и без ролей, либо хуже. Более того, можно было ожидать, что в более крупных моделях польза от ролей будет больше, но не тут-то было: вышло прямо наоборот, «вредных» ролей из всего эксперимента оказалось еще больше для моделей с бОльшим количеством параметров.
Тут резонно заметить, что ссылаться на статью с последним апдейтом в 2024 году это очень сильно замороженная рыба для темпов развития ИИ в наше время, поэтому если пост соберет 50 сердечек, напишу, что еще интересного публиковали про исследование ролей в последние два года.
Гайды по промптингу, особенно в материалах свежеиспеченных AI-экспертов, советуют начинать промпт с роли: "Ты - опытный юрист", "Ты - senior data scientist". Zheng, Pei и др. (Findings of ACL) еще в 2023-2024 году проверили, влияет ли это на точность в задачах с проверяемым ответом. https://arxiv.org/abs/2311.10054
Для экспериментов выбрали 162 роли: 112 профессий (юрист, геолог, "Medical Diagnostic AI", "helpful assistant") и 50 социальных (мать, коллега, друг). В исследовании участвовало 9 моделей: Flan-T5-XXL, Llama-3 8B и 70B, Mistral-7B, Qwen2.5 от 3B до 72B. Для оценки точности использовали 2410 вопросов MMLU. Форматы "Ты - {роль}" и "Ты разговариваешь с {роль}", контроль - вопрос без роли.
В результате выяснилось, что точность ответов либо на том же уровне, что и без ролей, либо хуже. Более того, можно было ожидать, что в более крупных моделях польза от ролей будет больше, но не тут-то было: вышло прямо наоборот, «вредных» ролей из всего эксперимента оказалось еще больше для моделей с бОльшим количеством параметров.
Тут резонно заметить, что ссылаться на статью с последним апдейтом в 2024 году это очень сильно замороженная рыба для темпов развития ИИ в наше время, поэтому если пост соберет 50 сердечек, напишу, что еще интересного публиковали про исследование ролей в последние два года.