В эфире нерегулярная рубрика «Minecraft и компьютерные науки». Уж насколько хорошо эта песочница подходит, чтобы тестировать там разные алгоритмы, что в пору её делать регулярной. Например, я уже рассказывал, как игровые объекты в Minecraft научились генерировать с помощью диффузионной модели.

На этот раз поводом для рубрики стал инженер под псевдонимом sammyuri, который любит делать в Майнкрафте разные сложные устройства и выкладывать их на Ютюб. Недавно же он собрал там из логических блогов полноценный генеративный предобученный трансформер (GPT) вместе с интерфейсом ввода и вывода — вы только посмотрите на это!
https://www.youtube.com/watch?v=VaeI9YgE1o8

Модель вышла небольшой — всего 5 миллионов параметров, но для её работы требуется как минимум 32 гигабайта памяти и специальная версия игры (MCHPRS). Думает она около пары часов, а её контекстное окно крошечное — всего 64 токена (около 300 символов).

И всё равно проект впечатляет. Автор воссоздал основные компоненты трансформерной архитектуры, после чего аккуратно перенёс в них веса предобученной обычным способом модели — и это работает прямо в игре: виртуальная нейросеть отвечает на вопросы и демонстрирует вариативность. Мир и код лежат в открытом доступе, поэтому, если есть достаточно мощный компьютер, можно поиграться самостоятельно