Видео недоступно для предпросмотра
Смотреть в Telegram
👍 Что происходит у ChatGPT «под капотом»
Многие думают, что ChatGPT отлично разбирается во всем, что пишет, и еще лучше умеет выдумывать истории. На самом же деле, модель-трансформер предсказывает, какое слово наиболее вероятно должно идти в тексте следующим.
Выпускник Стэнфорда Грант Сандерсон выпустил 30-минутное видео о том, как устроен GPT. Ниже краткий FAQ о механизме подбора слова. Спойлер: не обещаем, что будет просто, но точно проще, чем в учебниках.
🔠 Процесс генерации текста можно описать 3 словами: Предсказание → Добавление → Повтор. Большие языковые модели (LLM) предсказывают следующее слово в тексте, добавляют его к тексту, а затем повторяют операцию.
🔠 На первом этапе модель делит текст на токены: слова, части слов или комбинации символов.
🔠 Что именно означает каждое слово модель определяет по контексту и месту слова во фразе. Для этого используется механизм внимания. При этом токены могут «общаться» друг с другом для уточнения контекста: например, чтобы отличить «модель» ML от «фотомодели». По итогу этого «общения» данные по каждому токену обновляются.
🔠 Следующий этап — модель задает к каждому токену множество вопросов: является ли это существительным, на каком языке оно написано и т.д. За этот этап отвечает многослойный перцептрон.
🔠 После многочисленных повторов этих двух операций появляется список слов, которые, скорее всего, могут следовать в тексте далее. Каждому слову присвоена вероятность, модель выбирает слово с наивысшей вероятностью. После чего трансформер ищет следующее слово.
⏰ Таймкод лекции:
⏺️ Процесс поиска слова.
⏺️ Главная идея глубокого ML.
⏺️ Где находится искомое слово.
⏺️ Как слова превращаются в векторы.
⏺️ Почему ChatGPT забывает контекст.
▶️ Посмотреть полностью обзор на трансформеры можно тут.
Также по теме:
🤪 Почему генеративный ИИ ошибается?
🔍 Лекция Майкла Вулриджа «Какое будущее ждет генеративный ИИ?»
@hiaimedia
Многие думают, что ChatGPT отлично разбирается во всем, что пишет, и еще лучше умеет выдумывать истории. На самом же деле, модель-трансформер предсказывает, какое слово наиболее вероятно должно идти в тексте следующим.
Выпускник Стэнфорда Грант Сандерсон выпустил 30-минутное видео о том, как устроен GPT. Ниже краткий FAQ о механизме подбора слова. Спойлер: не обещаем, что будет просто, но точно проще, чем в учебниках.
🔠 Процесс генерации текста можно описать 3 словами: Предсказание → Добавление → Повтор. Большие языковые модели (LLM) предсказывают следующее слово в тексте, добавляют его к тексту, а затем повторяют операцию.
🔠 На первом этапе модель делит текст на токены: слова, части слов или комбинации символов.
🔠 Что именно означает каждое слово модель определяет по контексту и месту слова во фразе. Для этого используется механизм внимания. При этом токены могут «общаться» друг с другом для уточнения контекста: например, чтобы отличить «модель» ML от «фотомодели». По итогу этого «общения» данные по каждому токену обновляются.
🔠 Следующий этап — модель задает к каждому токену множество вопросов: является ли это существительным, на каком языке оно написано и т.д. За этот этап отвечает многослойный перцептрон.
🔠 После многочисленных повторов этих двух операций появляется список слов, которые, скорее всего, могут следовать в тексте далее. Каждому слову присвоена вероятность, модель выбирает слово с наивысшей вероятностью. После чего трансформер ищет следующее слово.
⏰ Таймкод лекции:
⏺️ Процесс поиска слова.
⏺️ Главная идея глубокого ML.
⏺️ Где находится искомое слово.
⏺️ Как слова превращаются в векторы.
⏺️ Почему ChatGPT забывает контекст.
▶️ Посмотреть полностью обзор на трансформеры можно тут.
Также по теме:
🤪 Почему генеративный ИИ ошибается?
🔍 Лекция Майкла Вулриджа «Какое будущее ждет генеративный ИИ?»
@hiaimedia