Grokking
- среди всех ИИ лабораторий в мире мне особо симпатизирует XAI (grok)
- они выбрали отличный от всех подход к выравниванию моделей (alignment)
- как делают другие: делают такой пост-трейнинг моделей (SFT, DPO, PPO, тестовые сеты) чтобы модели соответствовали полит-корректности
- к примеру OpenAI и Anthropic выравнивают под калифорнийские ценности
- китайские модели выравнивают под китайские ценности и политику
- при этом XAI выравнивают модели под миссию truthseeking, поиск истины
- это самый охуенный подход к алайменту
- мне как человеку который занят в пост-трейне моделей это очень импонирует
- надеюсь у меня в будущем будет возможность делать проекты с такими ценностями и подходами

Забавное про название Grok
- словечко grokking обозначает стадию пре-трейринга модели, когда её обучают на большом количестве данных и она неожиданно выучивает правила и взаимосвязи, которых на меньшем масштабе не понимала
- название grok образовано в том числе и от этого