Большой шаг от Anthropic - новый алгоритм позволяет моделям настраиваться без человеческой обратной связи
Anthropic создали новый алгоритм Internal Coherence Maximization (ICM), который позволяет дообучать предобученные языковые модели на их собственных сгенерированных метках без внешнего человеческого контроля.
Впервые показано, что можно систематически превосходить человеческую разметку в реальных задачах.Это переход от “нужны люди для обучения” к “модель сама себя учит лучше людей”.
ICM может изменить всю индустрию ML, снижает барьер входа (не нужны дорогие датасеты), ускоряет развитие ИИ.
Это решение проблемы будущего. Когда ИИ превзойдёт людей во многих областях, как мы будем его обучать?
ICM даёт ответ - извлекать уже имеющиеся сверхчеловеческие способности.
В статье и обсуждениях в сообществе ИИ признают, что ICM не работает с задачами, где желаемая концепция не является «выраженной» для модели, например, с предпочтением стихов о солнце. Также метод ограничен для длинных входных данных из-за зависимости от few-shot обучения.
Anthropic создали новый алгоритм Internal Coherence Maximization (ICM), который позволяет дообучать предобученные языковые модели на их собственных сгенерированных метках без внешнего человеческого контроля.
Впервые показано, что можно систематически превосходить человеческую разметку в реальных задачах.Это переход от “нужны люди для обучения” к “модель сама себя учит лучше людей”.
ICM может изменить всю индустрию ML, снижает барьер входа (не нужны дорогие датасеты), ускоряет развитие ИИ.
Это решение проблемы будущего. Когда ИИ превзойдёт людей во многих областях, как мы будем его обучать?
ICM даёт ответ - извлекать уже имеющиеся сверхчеловеческие способности.
В статье и обсуждениях в сообществе ИИ признают, что ICM не работает с задачами, где желаемая концепция не является «выраженной» для модели, например, с предпочтением стихов о солнце. Также метод ограничен для длинных входных данных из-за зависимости от few-shot обучения.