Архитектура LLM.
1️⃣ Программный код. Включает следующие элементы:
➖ Базовая логика работы – инструкции по сборке, запуску и взаимодействию с моделью.
➖ Алгоритмы обучения, включающие в себя математическую функцию (способ обучения модели). Алгоритм реализует математическую функцию или последовательность операций, но это не просто формула, это процедура.
➖Архитектура модели. Это как чертёж нейросети. Своего рода "структура мозга ИИ", в которой указано, как информация обрабатывается внутри. Она определяет (1) из каких слоёв состоит модель (входной, скрытые, выходной), (2) в каком порядке и как они соединены, (3) какие применяются функции и приёмы (например, внимание, нормализация, пулы), (4) сколько параметров у каждого слоя и как они взаимодействуют.
Может быть указана как в коде, так и в конфигурационном файле.
➖Интерфейс/API. Способ дать команду ИИ (способ взаимодействия).
➖Логика инференса / постобработки – алгоритм отбора «наилучшего» ответа, нормализация значений, фильтрация (например, токсичных ответов).
2️⃣ Конфигурация модели или конфигурационный файл (json).
Это описание архитектуры модели и настроек обучения. Например, 12 слоёв, в каждом 768 нейронов, использование attention, применение GELU-активации.
3️⃣ Токенизатор (json). Это, по сути, словарь со всеми словами, которые знает модель и их переводом в токены.
4️⃣ Веса модели (машинный, бинарный, нечитабельный файл с миллиардами весов). Хранятся в формате .bin, .pt, .ckpt, .h5. Просто миллиарды значений по типу [0.122, -0.987, ...]
5️⃣ Сопутствующие элементы.
➖Обучающие данные (training data). Не входят напрямую в модель.
➖Служебные файлы для запуска/развёртывания (окружение запуска, скрипты запуска, endpoint-конфиги).
➖Метаданные модели (model metadata). Служебная информация о модели: кто автор, версия, дата сборки и т. д
➖Контрольные выборки / тесты (evaluation sets). Наборы данных, на которых проверяется качество модели.
➖Инструкции по способу обучения модели на данных.
1️⃣ Программный код. Включает следующие элементы:
➖ Базовая логика работы – инструкции по сборке, запуску и взаимодействию с моделью.
➖ Алгоритмы обучения, включающие в себя математическую функцию (способ обучения модели). Алгоритм реализует математическую функцию или последовательность операций, но это не просто формула, это процедура.
➖Архитектура модели. Это как чертёж нейросети. Своего рода "структура мозга ИИ", в которой указано, как информация обрабатывается внутри. Она определяет (1) из каких слоёв состоит модель (входной, скрытые, выходной), (2) в каком порядке и как они соединены, (3) какие применяются функции и приёмы (например, внимание, нормализация, пулы), (4) сколько параметров у каждого слоя и как они взаимодействуют.
Может быть указана как в коде, так и в конфигурационном файле.
➖Интерфейс/API. Способ дать команду ИИ (способ взаимодействия).
➖Логика инференса / постобработки – алгоритм отбора «наилучшего» ответа, нормализация значений, фильтрация (например, токсичных ответов).
2️⃣ Конфигурация модели или конфигурационный файл (json).
Это описание архитектуры модели и настроек обучения. Например, 12 слоёв, в каждом 768 нейронов, использование attention, применение GELU-активации.
3️⃣ Токенизатор (json). Это, по сути, словарь со всеми словами, которые знает модель и их переводом в токены.
4️⃣ Веса модели (машинный, бинарный, нечитабельный файл с миллиардами весов). Хранятся в формате .bin, .pt, .ckpt, .h5. Просто миллиарды значений по типу [0.122, -0.987, ...]
5️⃣ Сопутствующие элементы.
➖Обучающие данные (training data). Не входят напрямую в модель.
➖Служебные файлы для запуска/развёртывания (окружение запуска, скрипты запуска, endpoint-конфиги).
➖Метаданные модели (model metadata). Служебная информация о модели: кто автор, версия, дата сборки и т. д
➖Контрольные выборки / тесты (evaluation sets). Наборы данных, на которых проверяется качество модели.
➖Инструкции по способу обучения модели на данных.