Понятия и термины в области ИИ.
Навигация>>

➡️ iAi — Innovative Artificial Intelligence — Инновационный Искусственный Интеллект

➡️GPT (Generative Pre-trained Transformer) — это семейство языковых моделей, разработанных OpenAI, основанных на архитектуре Transformer.

- Generative: Модель генерирует текст, а не просто классифицирует его.

- Pre-trained: Модель предварительно обучается на большом наборе данных, а затем дообучается для конкретных задач.

- Transformer: Архитектура нейронной сети, которая использует механизм внимания (attention) для обработки данных.

➡️ Мультимодальность — это способность модели работать с несколькими типами данных одновременно.

➡️Токен — это минимальная единица текста, которую обрабатывает модель. В контексте GPT:

- Токеном может быть слово, часть слова или даже символ.

- Например, фраза "ChatGPT — это круто!" разбивается на токены: ["Chat", "G", "PT", "—",
" это", "круто", "!"].

- В среднем 1 токен ≈ 4 символа на английском или 1-2 символа на русском.

- Ограничение на количество токенов
- 4096 ед. для GPT-3.5
- от 8,192 до 32,768 для GPT-4

Это то сколько текста модель может обработать за один раз ответ+запрос.