Трекинг экспериментов в MLOps
В машинном обучении при каждом обучении модели создаётся новый запуск обучения.
Эксперимент - это набор таких запусков.
Трекинг экспериментов - это автоматическое логирование важной информации о каждом запуске обучения.
Например, во время каждого запуска обучения ML-модели сохраняются следующие данные:
- Параметры: алгоритм, гиперпараметры, версия датасета.
- Метрики: точность, F1-мера, время обучения.
- Артефакты: файл модели, файлы окружения и другие материалы.
- Метаданные: информация о расположении артефактов, сигнатура модели, пример входных данных, пользовательские метаданные и другое.
Это похоже на то, как в CI-системах отслеживаются SHA коммита, номер сборки, логи и другие данные.
Трекинг экспериментов выполняет ту же задачу для запусков обучения моделей машинного обучения.
Поэтому запуск обучения без трекинга - это как CI-сборка без истории сборок.
Самый распространённый инструмент для трекинга экспериментов - MLflow.
👉 DevOps Portal
В машинном обучении при каждом обучении модели создаётся новый запуск обучения.
Эксперимент - это набор таких запусков.
Трекинг экспериментов - это автоматическое логирование важной информации о каждом запуске обучения.
Например, во время каждого запуска обучения ML-модели сохраняются следующие данные:
- Параметры: алгоритм, гиперпараметры, версия датасета.
- Метрики: точность, F1-мера, время обучения.
- Артефакты: файл модели, файлы окружения и другие материалы.
- Метаданные: информация о расположении артефактов, сигнатура модели, пример входных данных, пользовательские метаданные и другое.
Это похоже на то, как в CI-системах отслеживаются SHA коммита, номер сборки, логи и другие данные.
Трекинг экспериментов выполняет ту же задачу для запусков обучения моделей машинного обучения.
Поэтому запуск обучения без трекинга - это как CI-сборка без истории сборок.
Самый распространённый инструмент для трекинга экспериментов - MLflow.
👉 DevOps Portal