#DeepSeek представили технологию, превращающую 27млрд-модель в конкурента GPT-4o
DeepSeek развивает новый тренд в ИИ - масштабирование моделей через оптимизацию вывода (inference) вместо увеличения размера моделей.
Этот тренд уже начали показывать Databricks и Camel-AI.
SPCT (Self-Principled Critique Tuning) – это новый метод, который позволяет значительно улучшить эффективность моделей вознаграждения без увеличения размера модели.
SPCT работает через генерацию принципов оценки на лету и параллельную выборку нескольких наборов оценок, которые затем агрегируются для получения более точного результата.
Этот подход не требует специально размеченных данных для оценки качества ответов в каждом домене – модель сама определяет релевантные критерии и применяет их к оценке.
Эмпирические исследования показывают, что DeepSeek-GRM-27млрд с использованием 32 параллельных выборок превосходит Claude 3.5 Sonnet, GPT-4o и Nemotron-4-340млрд-Reward на стандартных бенчмарках оценки LLM, что эквивалентно производительности моделей с 671млрд параметров — в ~25 раз больше параметров.
SPCT подходит для:
1. Создания специализированных LLM с помощью RLHF с использованием меньшего количества вычислительных ресурсов
2. Повышения качества существующих моделей через более точные оценки их ответов
3. Гибкого управления балансом качества и стоимости в зависимости от конкретных задач
4. Разработки систем с улучшающимся циклом использования – чем больше запросов обрабатывает система, тем лучше она становится.
DeepSeek развивает новый тренд в ИИ - масштабирование моделей через оптимизацию вывода (inference) вместо увеличения размера моделей.
Этот тренд уже начали показывать Databricks и Camel-AI.
SPCT (Self-Principled Critique Tuning) – это новый метод, который позволяет значительно улучшить эффективность моделей вознаграждения без увеличения размера модели.
SPCT работает через генерацию принципов оценки на лету и параллельную выборку нескольких наборов оценок, которые затем агрегируются для получения более точного результата.
Этот подход не требует специально размеченных данных для оценки качества ответов в каждом домене – модель сама определяет релевантные критерии и применяет их к оценке.
Эмпирические исследования показывают, что DeepSeek-GRM-27млрд с использованием 32 параллельных выборок превосходит Claude 3.5 Sonnet, GPT-4o и Nemotron-4-340млрд-Reward на стандартных бенчмарках оценки LLM, что эквивалентно производительности моделей с 671млрд параметров — в ~25 раз больше параметров.
SPCT подходит для:
1. Создания специализированных LLM с помощью RLHF с использованием меньшего количества вычислительных ресурсов
2. Повышения качества существующих моделей через более точные оценки их ответов
3. Гибкого управления балансом качества и стоимости в зависимости от конкретных задач
4. Разработки систем с улучшающимся циклом использования – чем больше запросов обрабатывает система, тем лучше она становится.