🤷
Когда использовать BERT, а когда LLM?Во время решения различных NLP задач ловлю себя на мысли, что часто можно применить LLM.
Задача классификации? - Берём LLM + Structured Output.
Задача NER? - Тоже можно взять LLM, написать пару промптов и алгоритмов и вуаля - будем находить персональные данные в тексте.
Но, к сожалению, не так все просто.
1️⃣ Первое, во что упираемся - это
инфраструктура и требования к системе. LLM бывает дорогим удовольствием, если нет доступа к хорошему железу. Здесь, конечно, можно использовать облачные решения, например с OpenRouter. Но если работа происходит с чувствительными данными, то использование облачных LLM становится затруднительным.
Даже если у вас есть своё железо, проблема не всегда решена. Если система должна обрабатывать тысячи запросов за секунды - LLM тоже может проигрывать в таких ситуациях.
Соответственно, вот и одно из преимуществ BERT моделей -
они не требуют мощного железа и работают достаточно быстро. То есть, их использовать гораздо дешевле.
2️⃣ Далее, конечно же, следует вопрос качества. И вот тут ответ на вопрос не такой однозначный. Я изучил несколько интересных работ, в которых сравнивали BERT модели с классическими LLM.
В некоторых работах (
[1],
[2],
[3]) оценку проводили на задаче классификации, и здесь
BERT модели показали результат лучше, чем у LLM. Для задачи NER в одной из работ
[4] картина та же.
Но в той же работе
[2], авторы показывают, что для обнаружения галлюцинаций - LLM показывает результаты лучше, чем BERT, та же картина в работе
[5] со сравнением GPT-4o и BERT на задаче классификации отзывов с туристического сервиса. Также в этой
[6] работе GPT показала лучшие результаты на задаче NER для нахождения в тексте имен людей.
Таким образом, однозначно сказать, кто лучше, тяжело. Нужны эксперименты и research.
Мне понравилась идея авторов работы
[2], в которой они советуют подход к выбору архитектуры так:
- Для задач, где ответ лежит на "поверхности" в тексте, хорошо себя показывает BERT (например, при классификации тональности чаще всего легко понять, отзыв положителен или отрицателен).
- Для задач, где требуются внешние знания или же глубокое рассуждение - хорошо показывают себя LLM.
Они приводят этот фреймворк для задачи классификации, который можно взять на вооружение.
3️⃣ Последний аспект, который я хотел упомянуть - это выбор архитектуры в зависимости от наличия и изменяемости данных.
Если у вас на старте отсутствуют данные для обучения, либо же предполагается, что например, категории будут часто меняться - лучше использовать LLM, потому что все необходимые правила
можно быстро установить промптом и оно будет достаточно неплохо работать. К тому же, плюсом LLM является то, что вы можете заставить её
объяснить своё решение, если это необходимо для вашей задачи.
Если же вы имеете достаточное количество данных и не предполагается сильное изменение категорий в данных - можно попробовать обучить BERT и оценить, как хорошо он справляется.
#️⃣ Подводя итог, можно сказать - перед выбором между BERT моделями и классическими LLM отталкиваемся от инфраструктуры и требований к системе. Также анализируем решаемую задачу и те данные, с которыми модель должна работать. Ответив на эти вопросы, можно принять первое решение
и в дальнейшем отталкиваться от него.
Максим Максимов // IT, AI
