Про краудсорсинг для сбора и разметки данных (часть 2)📊
Процесс создания краудсорсингового проекта выглядит примерно так:
1⃣ Декомпозиция задачи
Задание должно быть «атомарным», например, отметить объекты на одной фотографии (иначе проклянёте все, когда будете пытаться агрегировать результаты и измерить качество);
2⃣ Составление инструкции и настройка интерфейса задания
Инструкция должна быть лаконичной, понятной и однозначной, интерфейс — удобным, по возможности содержать горячие клавиши (если мы говорим о разметке через платформы, такие как Яндекс.Задания, иногда достаточно excel-таблицы или гугл-формы);
3⃣ Отбор исполнителей
Пользователи на платформе могут быть отобраны по фильтрам (знание языка, регион проживания, возраст, другие специальные знания) и/или пройти обучение и экзамен, либо мы сами находим выборку людей, которые будут размечать;
4⃣ Контроль качества
Тут есть разные подходы, которые могут комбинироваться — контрольные задания, перепроверка другими пользователями, выборочная проверка заказчиком. Зависит от требований и масштабов разметки;
5⃣ Запуск разметки «в прод» и саппорт
Задания загружаются через интерфейс платформы или по API, разметки могут быть регулярными. Первое время следим за фидбеком, вносим правки в инструкцию. Если исполнителей мало, уместно отвечать на их вопросы лично;
6⃣ Агрегация результатов
В этот шаг я включаю всё сразу — подбор перекрытия (сколько исполнителей будут отвечать на один и тот же вопрос), способ выбора финального ответа (база — простой «голос большинства», посложнее — вероятностные модели, вычисляющие ответ с учетом качества разметки исполнителя).
Естественно, если у вас локальная/разовая разметка, часть пунктов можно упростить или пропустить. Но, например, в моей работе в Яндексе подразумевалось создание именно регулярных процессов сбора данных о качестве работы Поиска, поэтому все этапы выполнялись последовательно и были очень важны, в том числе подразумевались работающие без перебоев ETL/ELT-процессы для сбора, загрузки, выгрузки и агрегации данных, а также для работы с исполнителями (привлечение в проект, оценка качества, баны).
☯️ Human-in-the-loop — техника, которая заслуживает отдельного внимания.
источник картинки: статья на Хабре, там также рассказываются подробности про различные подвиды этого метода
Концепция краудсорсинга для задач ML позволяет итеративно обучать модель, начиная с небольшого размеченного датасета. После каждого обучения примеры, в которых модель была не уверена, отправляются на разметку людьми, и ими дополняется датасет, и так далее до достижения необходимого уровня качества.
Плюсы такого подхода:
➕ более быстрое обучение модели;
➕ обратная связь о том, как можно улучшить качество данных
Возможные минусы:
➖ не ко всем задачам можно применить в таком виде;
➖ такие же высокие требования к качеству инструкции и отбору исполнителей, чтобы данным можно было доверять, то есть сам пайплайн совсем не упрощается;
➖ всё-таки нужен изначальный датасет, от которого будем отталкиваться
Я надеюсь, что получилось внятно ввести вас в курс дела. Мне было очень интересно работать с краудсорсингом (создание таких проектов было основной задачей нашей команды в 📱), иногда было ощущение, что за этой методикой ну просто всё будущее, и так можно получить любые данные🤓 Сейчас я стараюсь не кидаться в крайности, но факт остаётся фактом — это очень полезная концепция для многих задач, и в Яндексе ей пользовались с большим успехом.
Что думаете, сталкивались ли с такой разметкой данных в своих проектах?⬇️
Процесс создания краудсорсингового проекта выглядит примерно так:
1⃣ Декомпозиция задачи
Задание должно быть «атомарным», например, отметить объекты на одной фотографии (иначе проклянёте все, когда будете пытаться агрегировать результаты и измерить качество);
2⃣ Составление инструкции и настройка интерфейса задания
Инструкция должна быть лаконичной, понятной и однозначной, интерфейс — удобным, по возможности содержать горячие клавиши (если мы говорим о разметке через платформы, такие как Яндекс.Задания, иногда достаточно excel-таблицы или гугл-формы);
3⃣ Отбор исполнителей
Пользователи на платформе могут быть отобраны по фильтрам (знание языка, регион проживания, возраст, другие специальные знания) и/или пройти обучение и экзамен, либо мы сами находим выборку людей, которые будут размечать;
4⃣ Контроль качества
Тут есть разные подходы, которые могут комбинироваться — контрольные задания, перепроверка другими пользователями, выборочная проверка заказчиком. Зависит от требований и масштабов разметки;
5⃣ Запуск разметки «в прод» и саппорт
Задания загружаются через интерфейс платформы или по API, разметки могут быть регулярными. Первое время следим за фидбеком, вносим правки в инструкцию. Если исполнителей мало, уместно отвечать на их вопросы лично;
6⃣ Агрегация результатов
В этот шаг я включаю всё сразу — подбор перекрытия (сколько исполнителей будут отвечать на один и тот же вопрос), способ выбора финального ответа (база — простой «голос большинства», посложнее — вероятностные модели, вычисляющие ответ с учетом качества разметки исполнителя).
Естественно, если у вас локальная/разовая разметка, часть пунктов можно упростить или пропустить. Но, например, в моей работе в Яндексе подразумевалось создание именно регулярных процессов сбора данных о качестве работы Поиска, поэтому все этапы выполнялись последовательно и были очень важны, в том числе подразумевались работающие без перебоев ETL/ELT-процессы для сбора, загрузки, выгрузки и агрегации данных, а также для работы с исполнителями (привлечение в проект, оценка качества, баны).
☯️ Human-in-the-loop — техника, которая заслуживает отдельного внимания.
источник картинки: статья на Хабре, там также рассказываются подробности про различные подвиды этого метода
Концепция краудсорсинга для задач ML позволяет итеративно обучать модель, начиная с небольшого размеченного датасета. После каждого обучения примеры, в которых модель была не уверена, отправляются на разметку людьми, и ими дополняется датасет, и так далее до достижения необходимого уровня качества.
Плюсы такого подхода:
➕ более быстрое обучение модели;
➕ обратная связь о том, как можно улучшить качество данных
Возможные минусы:
➖ не ко всем задачам можно применить в таком виде;
➖ такие же высокие требования к качеству инструкции и отбору исполнителей, чтобы данным можно было доверять, то есть сам пайплайн совсем не упрощается;
➖ всё-таки нужен изначальный датасет, от которого будем отталкиваться
Я надеюсь, что получилось внятно ввести вас в курс дела. Мне было очень интересно работать с краудсорсингом (создание таких проектов было основной задачей нашей команды в 📱), иногда было ощущение, что за этой методикой ну просто всё будущее, и так можно получить любые данные🤓 Сейчас я стараюсь не кидаться в крайности, но факт остаётся фактом — это очень полезная концепция для многих задач, и в Яндексе ей пользовались с большим успехом.
Что думаете, сталкивались ли с такой разметкой данных в своих проектах?⬇️