Microsoft готовит план Б, чтобы не зависеть от OpenAI на фоне роста затрат на ИИ
По данным источников, топ-менеджер корпорации Питер Ли, который курирует 1500 исследователей, поручил разработать разговорный ИИ, который, возможно, не будет работать также хорошо, как ChatGPT, но будет меньше по размеру и обойдётся гораздо дешевле в эксплуатации.
Поскольку затраты на ИИ растут, Microsoft, Google, стремятся экономить как на разговорном ИИ, так и на чипах.
Microsoft уже вложила более $10 млрд в OpenAI, но несмотря на эти инвестиции, ИТ -гигант по-прежнему должен контролировать расходы, запуская одновременно новые ИИ функции, которые автоматически генерируют презентации PowerPoint, создают электронные таблицы Excel на основе того, что клиенты говорят приложениям и тд. Если более миллиарда человек в конечном итоге будут использовать такие функции, Microsoft придется уменьшить их размер и сложность. Компания также надеется, что это позволит высвободить больше чипов.
Исследовательская группа Microsoft не питает иллюзий по поводу разработки нового крупного ИИ, как GPT-4, так как у команды нет таких же вычислительных ресурсов, как у OpenAI, и у нее нет армии рецензентов, которые могли бы дать отзыв о том, насколько хорошо их LLM отвечают на вопросы, чтобы инженеры могли их улучшить.
Но Microsoft, возможно, сможет конкурировать в гонке за создание ИИ моделей, имитирующих качество программного обеспечения OpenAI, за небольшую часть затрат, как показала Microsoft в июне, выпустив собственную модель - Orca.
С тех пор, как Microsoft полностью занялась OpenAI, исследовательское подразделение софтверного гиганта в основном занимается доработкой моделей OpenAI для использования в продуктах Microsoft, а не разработкой собственных моделей. За последний год подразделение также потеряло талантливых специалистов.
Но, проведя год в тени OpenAI, некоторые исследователи Microsoft нашли новую цель-создание того, что инженеры ИИ называют «дистиллированными» моделями, имитирующими большие модели, такие как GPT-4, но меньшими по размеру и стоящими гораздо дешевле в эксплуатации.
Условия соглашения Microsoft с OpenAI помогают компании избавиться от зависимости от OpenAI. Корпорация имеет уникальный доступ к результатам, которые дают модели OpenAI, когда клиент Microsoft использует чат-бота в Bing. Microsoft сейчас использует эти данные для создания очищенных моделей, которые, как показывают результаты ее исследователей, могут дать аналогичные результаты с меньшими вычислительными ресурсами.
Пока неизвестно, окажутся ли очищенные модели, такие как Orca полезными в долгосрочной перспективе, но их ценовые преимущества дают Microsoft стимул развивать.
Другие исследователи Microsoft разрабатывают мультимодальную систему LLM, которая может интерпретировать и генерировать как текст, так и изображения.
Такие модели, как Orca и Phi, могут помочь Microsoft снизить затраты на ИИ вычисления.
Microsoft также думает о том, стоит ли делать Orca доступной для клиентов Azure.
Microsoft также подстраховала свою ставку на OpenAI, предложив другие программы LLM, в том числе Llama 2 от Meta(Запрещенная в РФ организация), через Azure. Microsoft работает с Databricks для устранения зависимости от OpenAI
https://t.me/blockchainRF/8411
По данным источников, топ-менеджер корпорации Питер Ли, который курирует 1500 исследователей, поручил разработать разговорный ИИ, который, возможно, не будет работать также хорошо, как ChatGPT, но будет меньше по размеру и обойдётся гораздо дешевле в эксплуатации.
Поскольку затраты на ИИ растут, Microsoft, Google, стремятся экономить как на разговорном ИИ, так и на чипах.
Microsoft уже вложила более $10 млрд в OpenAI, но несмотря на эти инвестиции, ИТ -гигант по-прежнему должен контролировать расходы, запуская одновременно новые ИИ функции, которые автоматически генерируют презентации PowerPoint, создают электронные таблицы Excel на основе того, что клиенты говорят приложениям и тд. Если более миллиарда человек в конечном итоге будут использовать такие функции, Microsoft придется уменьшить их размер и сложность. Компания также надеется, что это позволит высвободить больше чипов.
Исследовательская группа Microsoft не питает иллюзий по поводу разработки нового крупного ИИ, как GPT-4, так как у команды нет таких же вычислительных ресурсов, как у OpenAI, и у нее нет армии рецензентов, которые могли бы дать отзыв о том, насколько хорошо их LLM отвечают на вопросы, чтобы инженеры могли их улучшить.
Но Microsoft, возможно, сможет конкурировать в гонке за создание ИИ моделей, имитирующих качество программного обеспечения OpenAI, за небольшую часть затрат, как показала Microsoft в июне, выпустив собственную модель - Orca.
С тех пор, как Microsoft полностью занялась OpenAI, исследовательское подразделение софтверного гиганта в основном занимается доработкой моделей OpenAI для использования в продуктах Microsoft, а не разработкой собственных моделей. За последний год подразделение также потеряло талантливых специалистов.
Но, проведя год в тени OpenAI, некоторые исследователи Microsoft нашли новую цель-создание того, что инженеры ИИ называют «дистиллированными» моделями, имитирующими большие модели, такие как GPT-4, но меньшими по размеру и стоящими гораздо дешевле в эксплуатации.
Условия соглашения Microsoft с OpenAI помогают компании избавиться от зависимости от OpenAI. Корпорация имеет уникальный доступ к результатам, которые дают модели OpenAI, когда клиент Microsoft использует чат-бота в Bing. Microsoft сейчас использует эти данные для создания очищенных моделей, которые, как показывают результаты ее исследователей, могут дать аналогичные результаты с меньшими вычислительными ресурсами.
Пока неизвестно, окажутся ли очищенные модели, такие как Orca полезными в долгосрочной перспективе, но их ценовые преимущества дают Microsoft стимул развивать.
Другие исследователи Microsoft разрабатывают мультимодальную систему LLM, которая может интерпретировать и генерировать как текст, так и изображения.
Такие модели, как Orca и Phi, могут помочь Microsoft снизить затраты на ИИ вычисления.
Microsoft также думает о том, стоит ли делать Orca доступной для клиентов Azure.
Microsoft также подстраховала свою ставку на OpenAI, предложив другие программы LLM, в том числе Llama 2 от Meta(Запрещенная в РФ организация), через Azure. Microsoft работает с Databricks для устранения зависимости от OpenAI
https://t.me/blockchainRF/8411