Databricks меняет правила, теперь можно улучшить LLM без размеченных данных
Команда Mosaic Research, которая входит в Databricks представила TAO — это новый подход к улучшению производительности LLM для конкретных задач, который:
1. Не требует размеченных данных.
2. Использует вычисления во время тестирования в процессе настройки модели.
3. Создаёт быструю, экономичную и высококачественную LLM.
Главное преимущество — возможность создать цикл улучшения ИИ-приложений, чем больше пользователи взаимодействуют с приложением, тем больше собирается данных для TAO, и тем лучше становится модель.
TAO объединяет 2 подхода:
- Вычисления во время тестирования (как в o1 и R1)
- Обучение с подкреплением
TAO полезен компаниям, которые:
1. Имеют мало или совсем не имеют размеченных данных для традиционного файн-тюнинга.
2. Хотят улучшить качество работы моделей в конкретных бизнес-задачах.
3. Стремятся снизить затраты на инференс, используя менее дорогие открытые модели.
По данным исследователей:
- TAO превосходит традиционный файн-тюнинг на тысячах размеченных примеров.
- Недорогие модели с открытым исходным кодом (Llama 8B и 70B) достигают качества дорогих проприетарных моделей (GPT-4o и o3-mini).
- Увеличение вычислительного бюджета во время настройки повышает качество модели при сохранении той же стоимости инференса.
Команда Mosaic Research, которая входит в Databricks представила TAO — это новый подход к улучшению производительности LLM для конкретных задач, который:
1. Не требует размеченных данных.
2. Использует вычисления во время тестирования в процессе настройки модели.
3. Создаёт быструю, экономичную и высококачественную LLM.
Главное преимущество — возможность создать цикл улучшения ИИ-приложений, чем больше пользователи взаимодействуют с приложением, тем больше собирается данных для TAO, и тем лучше становится модель.
TAO объединяет 2 подхода:
- Вычисления во время тестирования (как в o1 и R1)
- Обучение с подкреплением
TAO полезен компаниям, которые:
1. Имеют мало или совсем не имеют размеченных данных для традиционного файн-тюнинга.
2. Хотят улучшить качество работы моделей в конкретных бизнес-задачах.
3. Стремятся снизить затраты на инференс, используя менее дорогие открытые модели.
По данным исследователей:
- TAO превосходит традиционный файн-тюнинг на тысячах размеченных примеров.
- Недорогие модели с открытым исходным кодом (Llama 8B и 70B) достигают качества дорогих проприетарных моделей (GPT-4o и o3-mini).
- Увеличение вычислительного бюджета во время настройки повышает качество модели при сохранении той же стоимости инференса.