Google представили WebLI-100B - крупнейший в мире набор данных для обучения мультимодальных моделей, содержащий 100 млрд пар изображение-текст
Это в 10 раз больше существующих наборов данных.
Также в этой работе показано, что увеличение объема данных в 10 раз (с 10 до 100 миллиардов) практически не улучшает результаты на стандартных западных тестах, но значительно улучшает:
- Работу с контентом из разных культур
- Понимание низкоресурсных языков
- Справедливость работы системы для разных групп пользователей
Впервые обнаружен важный побочный эффект фильтрации данных: популярные методы фильтрации (как CLIP) могут непреднамеренно снижать культурное разнообразие в данных.
Впервые также показано, что для создания действительно инклюзивных ИИ систем важен не только объем данных, но и сохранение их разнообразия, даже если это немного снижает производительность на стандартных тестах.
Это исследование меняет понимание того, как нужно обучать крупные ИИ - модели, смещая фокус с чистой производительности на более широкие социальные аспекты, такие как культурная инклюзивность и справедливость.
Это в 10 раз больше существующих наборов данных.
Также в этой работе показано, что увеличение объема данных в 10 раз (с 10 до 100 миллиардов) практически не улучшает результаты на стандартных западных тестах, но значительно улучшает:
- Работу с контентом из разных культур
- Понимание низкоресурсных языков
- Справедливость работы системы для разных групп пользователей
Впервые обнаружен важный побочный эффект фильтрации данных: популярные методы фильтрации (как CLIP) могут непреднамеренно снижать культурное разнообразие в данных.
Впервые также показано, что для создания действительно инклюзивных ИИ систем важен не только объем данных, но и сохранение их разнообразия, даже если это немного снижает производительность на стандартных тестах.
Это исследование меняет понимание того, как нужно обучать крупные ИИ - модели, смещая фокус с чистой производительности на более широкие социальные аспекты, такие как культурная инклюзивность и справедливость.