Разработка с AI в начале 2025. Выбор LLM (3/3)
Локальность
Это когда вы скачиваете веса модели (если они доступны) и запускаете её локально, на своем железе.
Так вот, по всей видимости, на текущий момент это не особо оправданно, если только у вас не какой-то особенный use case, и вот почему:
* модели становятся огромными - к примеру, вышедший на днях DeepSeek v3 требует 671GB GPU RAM для работы (самая продвинутая "домашняя" видеокарта на текущий момент имеет объем видеопамяти 24GB);
* онлайн-инференс становится всё дешевле - тот же DeepSeek v3 стоит 28 центов за 1м сгенерированных токенов;
* серверные GPU становятся дороже, но при этом скорость их работы возрастает в разы с каждым новым поколением.
Такими темпами даже электричество для работы, скажем, домашней RTX3090 становится дороже, чем использование онлайн-моделей, не говоря уж о цене сборки системы для запуска современных моделей на ее основе :)
Впрочем, тут есть и другой тренд: постепенное улучшение локальных моделей - они становятся умнее и быстрее, даже на тех размерах, которые можно запустить на домашнем железе.
В какой-то момент локальные модели станут достаточно хороши, чтобы тягаться в некоторых задачах с современными большими коммерческими моделями навроде ChatGPT 4o или Claude 3.5 Sonnet, однако:
* до этого может пройти год-другой - это ооочень долго при современной скорости развития AI;
* к тому времени облачные модели могут достичь какой-то фантастической производительности и качества;
* скорее всего контекст локальных моделей так и останется коротким, т.к. мы помним из прошлого поста, что контекст длиной N требует N^2 GPU RAM.
С локальными моделями, безусловно, интересно возиться, если у вас есть страсть к администрированию и некоторая гиковость (каюсь, сам грешен), но на текущий момент в большинстве случаев это лишено практического смысла (для целей написания кода, уж точно).
К чему присматриваться
DeepSeek V3 - очень дешевая и умная модель, которая вот практически только-только вышла и по некоторым тестам превосходит Claude 3.5 Sonnet.
На бумаге единственный её существенный минус - контекст в 64k токенов против 200k у Claude 3.5 Sonnet, так что нужно будет посмотреть, как она себя будет вести на рабочих задачах.
Однозначно буду пробовать :)
Семейство моделей-ризонеров - ChatGPT o3, Qwen QwQ.
Пока что не вышедшая в паблик ChatGPT o3 по предварительным тестам - лучшая модель по ризонингу, так что будет интересно проверить её в работе над сложными задачами.
Плюс, стоит надеяться на то, что стоимость таких моделей будет падать, а скорость инференса - расти, так что они видятся перспективными для написания кода в будущем.
#ai #work #development
Локальность
Это когда вы скачиваете веса модели (если они доступны) и запускаете её локально, на своем железе.
Так вот, по всей видимости, на текущий момент это не особо оправданно, если только у вас не какой-то особенный use case, и вот почему:
* модели становятся огромными - к примеру, вышедший на днях DeepSeek v3 требует 671GB GPU RAM для работы (самая продвинутая "домашняя" видеокарта на текущий момент имеет объем видеопамяти 24GB);
* онлайн-инференс становится всё дешевле - тот же DeepSeek v3 стоит 28 центов за 1м сгенерированных токенов;
* серверные GPU становятся дороже, но при этом скорость их работы возрастает в разы с каждым новым поколением.
Такими темпами даже электричество для работы, скажем, домашней RTX3090 становится дороже, чем использование онлайн-моделей, не говоря уж о цене сборки системы для запуска современных моделей на ее основе :)
Впрочем, тут есть и другой тренд: постепенное улучшение локальных моделей - они становятся умнее и быстрее, даже на тех размерах, которые можно запустить на домашнем железе.
В какой-то момент локальные модели станут достаточно хороши, чтобы тягаться в некоторых задачах с современными большими коммерческими моделями навроде ChatGPT 4o или Claude 3.5 Sonnet, однако:
* до этого может пройти год-другой - это ооочень долго при современной скорости развития AI;
* к тому времени облачные модели могут достичь какой-то фантастической производительности и качества;
* скорее всего контекст локальных моделей так и останется коротким, т.к. мы помним из прошлого поста, что контекст длиной N требует N^2 GPU RAM.
С локальными моделями, безусловно, интересно возиться, если у вас есть страсть к администрированию и некоторая гиковость (каюсь, сам грешен), но на текущий момент в большинстве случаев это лишено практического смысла (для целей написания кода, уж точно).
К чему присматриваться
DeepSeek V3 - очень дешевая и умная модель, которая вот практически только-только вышла и по некоторым тестам превосходит Claude 3.5 Sonnet.
На бумаге единственный её существенный минус - контекст в 64k токенов против 200k у Claude 3.5 Sonnet, так что нужно будет посмотреть, как она себя будет вести на рабочих задачах.
Однозначно буду пробовать :)
Семейство моделей-ризонеров - ChatGPT o3, Qwen QwQ.
Пока что не вышедшая в паблик ChatGPT o3 по предварительным тестам - лучшая модель по ризонингу, так что будет интересно проверить её в работе над сложными задачами.
Плюс, стоит надеяться на то, что стоимость таких моделей будет падать, а скорость инференса - расти, так что они видятся перспективными для написания кода в будущем.
#ai #work #development