На этом этапе я смог уже осмысленно писать ей то, что мне требуется. Хотя, писать кому «ей»? Я перебрал кучу разных моделей и понял, что ни одна не натренирована ни на психоанализ, ни на астрологию и уж тем более она лажает в Таро. Даже когда вышла Fable 5 и её не успели отключить, я загнал ей расклад, хорар и получил всю такую же, как и прежде, словесную дичь, но красиво упакованную в термины настолько, что, если б я не разбирался досконально в предмете, принял бы ответ нейросети за чистую монету.
Решение было простое, как мне на тот момент казалось, — сделать свою модель и тут прилетел нежданчик. Обучить модель оказалось целым геморроем. Начать хотя бы с того, что ты не можешь просто так скормить в нейросеть записи своих раскладов и обратную связь по ним. Это надо разметить, разметка — это конкретный шаблон, под который надо переписывать логику каждого кейса, каждой обратно связи и делать это всё ручками.
Отдельная история — это хард. Я думаю, вы заметили, что я стал баловаться с различными нейровидосиками, оттачивая всякие промпты под эзотерические ситуации. Некоторые были откровенно всратыми — так я пытался оттачивать инструкции для нейросетей. В конце концов, я собрал себе комп на винде, запендюрил туда мощный RTX 5090 c 24 гигами и подумал — вот мне и счастье. Хотя, я с давних лет терпеть не мог стационарные компы, отдавая предпочтение лэптопам с отгрызенным яблоком на крышке.
Если вы думаете, что мне это как-то помогло — хер там. Для генерации картинок и видосиков в ComfyUI комп безусловно решал на все деньги, а для обучения собственной модели оказался абсолютно бесполезным. Генерить видосики — совсем не то же самое, что тренировать модель, тем более на специфическую тему психоанализа, Тарошки, оккультизма.
По итогу, комп с виндой я продал (в удачный момент, когда память стоила как крыло от Боинга), хотя всё равно потерял процентов 30, так что, никому не рекомендую, но я и не барыга — будь в моём психотипе или в натальной карте чуть-чуть бизнесовой хватки, я бы наверняка вышел в плюс, но нет. Ну не суть. Выяснилось, что обучать текстовую модель быстро и адекватно неплохо получается на процессорах Apple Silicon с модельками mlx.
Самый первый результат обучения я выложил в канал в виде
постов. Это первые и пока единственные посты, написанные полностью нейросетью моего собственного производства на базе модели Gemma от треклятого Гугла, которая, повторюсь, как оказалось, лучше всех понимает русский язык. Да, я мог бы писать промпты по-английски, но выдача результата подразумевалась на русском, а это отдельная история, потому что, когда я только озаботился темой обучения собственной модели, я столкнулся с тем, что нормальных гайдов на эту нету.
Что сделал я? Естественно, спросил у чатов джипити, как обучать свою модель. И что я получил? Хер с маслом. Оказалось, что при разных настройках, у разных моделей, с разной температурой и квантизацией есть какая-то, видимо (не берусь утверждать), настройка, которая косвенно запрещает выдавать пользователю алгоритмы обучения собственной модели. Дальше пошли месяцы гуглежа-пердежа, изучения форумов, срачей на реддите, расследований на гитхабах, чтобы тупо понять: а как сделать так, чтобы моя модель запомнила, где шестёрка дисков, куда пихать туза жезлов, что такое парная карта и прочая.
На сегодняшний день объём моей модели GGUF примерно 49 терабайт с 70B параметрами, без квантования (это отдельная история), с полностью отключёнными толерантными проверками. Она неплохо знает русский, понимает, как работает Тетралемма и Вектор, умеет определять психотип по сложным расчётам профиля через наталку (те, кто учился на профайлинге у меня, — вам низкий поклон от меня за интересные кейсы и обратную связь, ваше участие бесценно, да пребудет с вами Сила!), даже может немного поморить.
Кстати, с Тетралеммой у меня оказалось меньше всего возни, потому что на условных сто «Векторов» я сделал за свою практику одну Тетралемму, усвоив одно важное для себя правило — чем больше входящей инфы, тем сильнее фоновый шум, количество артефактов, аномалий и галлюцинаций.
Работаю дальше.
