3 кита улучшения LLM
У вас есть всего 3 способа улучшить LLM на вашей задаче. Многие путают, когда какой использовать. Давайте вместе разберёмся.
Подбор промпта
С этого всегда надо начинать. Удивительно, но часто делать больше ничего не надо.
Но не стоит здесь сходить с ума и обещать модели 100 баксов за правильный ответ. Есть несколько базовых правил:
- пишите подробно и с точными формулировками
- пробуйте Few-Shot
- используете reasoning (o1-подобные модели или просто Chain of thoughts)
- используйте Structured Output
- дробите большой промпт на несколько маленьких.
Все эти техники и даже больше можно почитать тут.
RAG
RAG - это подключение LLM к внешней базе знаний. Это основной способ внести в LLM знания, которая она не получила во время своего обучения.
Тут все сразу думают про RAG, как какой-то поиск по хранилищу эмбеддингов. Это вообще не так. Вы можете использовать любой удобный вам способ найти релевантную информацию и засунуть ее в промпт. На практике часто работают более простые методы: обычный текстовый поиск, или поиск по структурированной базе знаний (например, делаете оглавление и пытаетесь найти правильную главу). Обычно лучше работает комбинация несколько подходов.
Отдельная боль в RAG - борьба с галлюцинациями. Явно в промпте укажите, что для ответа можно использовать только информацию из промпта. Если не помогает - подключайте вторую модель, которая будет оценивать ответ на галлюцинации. Посмотрите вот эту статью - поможет вдохновиться.
Дообучение
Используется, когда нужно задать формат ответа, который не может задать промпт. Или промпт очень сложный, или вы сами не понимаете, что написать в промпт. Например, если хотите генерировать карточки товара, максимизируя вероятность покупки. Такое в промпт на напишешь.
Ошибка использовать дообучение, чтобы внести в модель новые знания. Так только галлюцинации поднимете. Используйте RAG.
Дообучение сильно дороже, чем 2 других покемона. Вам нужны GPU, а главное люди, которые умеют обучать LLM, не сломав оригинал. Это не так просто, я сам ломал десятки раз.
Учитывая мою патологическую жадность и ненависть к черным ящикам, я рекомендую дообучать модель всего в 5% случаев. Остальное можно решить промтом и RAG.
Без чего нельзя улучшать
Перед любым улучшением LLM вам нужно уметь это улучшение замерять. Это быстро и дешево можно делать с помощью другой LLM. Такой подход называется LLM-as-judge. Его разберём в следующих постах.
Друзья, если остались вопросы, как крутить LLM - пишите в комментарии. Разберемся.
У вас есть всего 3 способа улучшить LLM на вашей задаче. Многие путают, когда какой использовать. Давайте вместе разберёмся.
Подбор промпта
С этого всегда надо начинать. Удивительно, но часто делать больше ничего не надо.
Но не стоит здесь сходить с ума и обещать модели 100 баксов за правильный ответ. Есть несколько базовых правил:
- пишите подробно и с точными формулировками
- пробуйте Few-Shot
- используете reasoning (o1-подобные модели или просто Chain of thoughts)
- используйте Structured Output
- дробите большой промпт на несколько маленьких.
Все эти техники и даже больше можно почитать тут.
RAG
RAG - это подключение LLM к внешней базе знаний. Это основной способ внести в LLM знания, которая она не получила во время своего обучения.
Тут все сразу думают про RAG, как какой-то поиск по хранилищу эмбеддингов. Это вообще не так. Вы можете использовать любой удобный вам способ найти релевантную информацию и засунуть ее в промпт. На практике часто работают более простые методы: обычный текстовый поиск, или поиск по структурированной базе знаний (например, делаете оглавление и пытаетесь найти правильную главу). Обычно лучше работает комбинация несколько подходов.
Отдельная боль в RAG - борьба с галлюцинациями. Явно в промпте укажите, что для ответа можно использовать только информацию из промпта. Если не помогает - подключайте вторую модель, которая будет оценивать ответ на галлюцинации. Посмотрите вот эту статью - поможет вдохновиться.
Дообучение
Используется, когда нужно задать формат ответа, который не может задать промпт. Или промпт очень сложный, или вы сами не понимаете, что написать в промпт. Например, если хотите генерировать карточки товара, максимизируя вероятность покупки. Такое в промпт на напишешь.
Ошибка использовать дообучение, чтобы внести в модель новые знания. Так только галлюцинации поднимете. Используйте RAG.
Дообучение сильно дороже, чем 2 других покемона. Вам нужны GPU, а главное люди, которые умеют обучать LLM, не сломав оригинал. Это не так просто, я сам ломал десятки раз.
Учитывая мою патологическую жадность и ненависть к черным ящикам, я рекомендую дообучать модель всего в 5% случаев. Остальное можно решить промтом и RAG.
Без чего нельзя улучшать
Перед любым улучшением LLM вам нужно уметь это улучшение замерять. Это быстро и дешево можно делать с помощью другой LLM. Такой подход называется LLM-as-judge. Его разберём в следующих постах.
Друзья, если остались вопросы, как крутить LLM - пишите в комментарии. Разберемся.