Пока OpenAI, Google и другие компании соревнуются в размерах моделей и количестве параметров, Apple решили пойти против течения. Компания создала модульную систему для моделей ИИ – с иным подходом и целями.
Модель для айфонов и макбуков
Обычная нейросеть работает как «конвейер» – каждый слой что-то добавляет к результату и передаёт дальше. В Apple разбили этот конвейер на две части. Первая часть делает основную обработку текста – понимает смысл, анализирует контекст, готовит черновик ответа. Вторая часть отшлифовывает результат и готовит финальный текст. И вот из неё как раз убрали лишние элементы, которые требовали много памяти, и донастроили, чтобы не терять качество. Теперь нейросеть экономнее и быстрее работает на телефоне.
Модель для облака
Для облачной версии языковой модели Apple создали систему «экспертов» – несколько специализированных блоков, которые активируются по требованию. Условно, если спросить про готовку – включится кулинарный модуль, про математику – математический. В компании внесли несколько улучшений и сделали Parallel-Track Mixture-of-Experts. Как видно из названия, модель генерирует текст не последовательно, а параллельно, синхронизируясь в отдельных точках. Это позволяет сильно ускорить процесс.
Другие языки и отбор данных
Apple также отчитались об увеличении объёма неанглийского контента в четыре раза – с 8% до 30%. Видимо, компания готовится к дальнейшему расширению списка регионов, где работает Apple Intelligence. В компании подтвердили, что купили для тренировки моделей лицензии у издателей и отбирали данные, а не просто обучались на «всём интернете». За счёт тщательного отбора данных и оптимизации можно заставить работать качественно даже модель с малым количеством параметров.
Почему это важно?
Конечно, малые модели Apple не сравнятся с флагманскими от OpenAI или Google, но зато и стоить компании в будущем почти ничего не будут – редактуру текста и работу с медиа перенесут с облаков на устройства пользователей. История чем-то напоминает противостояние iPhone и Android: пока последние гнались за характеристиками – ядрами, памятью, мегапикселями – Apple делала устройства с меньшими цифрами, но лучшей оптимизацией. Сейчас они надеются повторить тот же подход – делать маленькие нишевые модели, вызываемые «по требованию», а не большие и универсальные.
Модель для айфонов и макбуков
Обычная нейросеть работает как «конвейер» – каждый слой что-то добавляет к результату и передаёт дальше. В Apple разбили этот конвейер на две части. Первая часть делает основную обработку текста – понимает смысл, анализирует контекст, готовит черновик ответа. Вторая часть отшлифовывает результат и готовит финальный текст. И вот из неё как раз убрали лишние элементы, которые требовали много памяти, и донастроили, чтобы не терять качество. Теперь нейросеть экономнее и быстрее работает на телефоне.
Модель для облака
Для облачной версии языковой модели Apple создали систему «экспертов» – несколько специализированных блоков, которые активируются по требованию. Условно, если спросить про готовку – включится кулинарный модуль, про математику – математический. В компании внесли несколько улучшений и сделали Parallel-Track Mixture-of-Experts. Как видно из названия, модель генерирует текст не последовательно, а параллельно, синхронизируясь в отдельных точках. Это позволяет сильно ускорить процесс.
Другие языки и отбор данных
Apple также отчитались об увеличении объёма неанглийского контента в четыре раза – с 8% до 30%. Видимо, компания готовится к дальнейшему расширению списка регионов, где работает Apple Intelligence. В компании подтвердили, что купили для тренировки моделей лицензии у издателей и отбирали данные, а не просто обучались на «всём интернете». За счёт тщательного отбора данных и оптимизации можно заставить работать качественно даже модель с малым количеством параметров.
Почему это важно?
Конечно, малые модели Apple не сравнятся с флагманскими от OpenAI или Google, но зато и стоить компании в будущем почти ничего не будут – редактуру текста и работу с медиа перенесут с облаков на устройства пользователей. История чем-то напоминает противостояние iPhone и Android: пока последние гнались за характеристиками – ядрами, памятью, мегапикселями – Apple делала устройства с меньшими цифрами, но лучшей оптимизацией. Сейчас они надеются повторить тот же подход – делать маленькие нишевые модели, вызываемые «по требованию», а не большие и универсальные.