Люди за это деньги платят

"Не используйте технологию в продукте только потому, что это круто!"

Некоторые ML инженеры имеют черту усложнять решение проблемы с самого начала. В контексте LLM они сразу же хотят утонуть в файн тюнинге... Подбор гиперпараметров, наблюдать за validation loss и чистить датасеты!!! ведь это и есть настоящая ЭЙАЙ наука, скажут они.

По факту, в контексте LLM, в большинстве случаев это over-engineering, то бишь использование огромной кувалды для забивания гвоздиков.

Предлагаю свой ментальный фреймворк для решения задач любого типа:

Шаг 0.
Ты уверен, что хочешь спуститься в бездну галлиционирющих ЛЛМ? Может быть задача решается с помощью regex или обычной проги?
Если да, то можешь смотреть прикреплённую блок-схему.





TL;DR

Тюнить модель != RAG

когда вы тюните модель вы изменяете параметры нейронной сети, во время RAG вы просто обогащаете контекст модели

Ты не хочешь тюнить большую языковую модель, поверь мне!!!
- Поддержка продукта построенного над натюненой моделью будет куда более комплексной чем использование API
- Подготовить хороший датасет это дни или недели скучнейшей работы
- Тренировка стоит деньги, например H100 сейчас стоит 3$ в час, это несколько десятков миллионов input токенов для gemini
- Скорее всего ты просто сломаешь модель и она станет тупее первого grokа
- Если что-то выглядит/звучит круто, это не значит, что это стоит сразу же применять
- Через 4 месяца выходит новая модель, будешь всё перетюнивать?

@makebugger