2021 год стал годом моделей монстров искусственного интеллекта
Когда OpenAI в июне 2020г. выпустила GPT-3, понимание языка нейронной сетью покорило мир. Но его влияние стало еще большим в 2021 году, когда показал апдейты GPT-3, об этом мы писали тут.
Это положило начало совершенно новой тенденции в развитии ИИ, в которой чем больше параметров, тем лучше.
В этом году появилось множество больших моделей искусственного интеллекта, созданных несколькими ИТ-гигантами и ведущими лабораториями искусственного интеллекта, многие из которых превзошли сам GPT-3 по размеру и возможностям. Об этом писали тут и тут.
Насколько большими они могут стать и какой ценой?
Объём моделей измеряется количеством параметров, из которых она состоит. Чем больше параметров у модели, тем точнее будут ее прогнозы относительно свежих данных.
У GPT-3 175 миллиардов параметров, она уступает 'https://t.me/blockchainRF/5/b093' rel='nofollow'>модели от DeepMind, у которой 280млрд параметров из топовых моделей от Google, у которой 1,6 триллиона параметров, а у Alibaba 10 триллионов.
Несмотря на впечатляющие результаты, исследователи до сих пор не понимают, почему увеличение количества параметров приводит к повышению производительности.
Когда OpenAI в июне 2020г. выпустила GPT-3, понимание языка нейронной сетью покорило мир. Но его влияние стало еще большим в 2021 году, когда показал апдейты GPT-3, об этом мы писали тут.
Это положило начало совершенно новой тенденции в развитии ИИ, в которой чем больше параметров, тем лучше.
В этом году появилось множество больших моделей искусственного интеллекта, созданных несколькими ИТ-гигантами и ведущими лабораториями искусственного интеллекта, многие из которых превзошли сам GPT-3 по размеру и возможностям. Об этом писали тут и тут.
Насколько большими они могут стать и какой ценой?
Объём моделей измеряется количеством параметров, из которых она состоит. Чем больше параметров у модели, тем точнее будут ее прогнозы относительно свежих данных.
У GPT-3 175 миллиардов параметров, она уступает 'https://t.me/blockchainRF/5/b093' rel='nofollow'>модели от DeepMind, у которой 280млрд параметров из топовых моделей от Google, у которой 1,6 триллиона параметров, а у Alibaba 10 триллионов.
Несмотря на впечатляющие результаты, исследователи до сих пор не понимают, почему увеличение количества параметров приводит к повышению производительности.