Репост из: AI Для Задротов
КАК ОБУЧАЮТЧСЯ LLM. ЧАСТЬ 1: МАСК, OPENAI И ДИСТИЛЯЦИЯ
В конце прошлой недели, весь AI-интернет обсуждал, кто в этот раз пидор, Маск, OpenAI или все сразу. у нас появилась новая серия корпоративной Санта-Барбары. Напомню, SpaceX купила Cursor, после чего OpenAI сообщила, что собирается перестать поставлять ему свои модели. Официально причина в том, что OpenAI больше не уверена(лол так можно??) в соблюдении своих условий компаниями Маска. Но в комментариях к этой истории постоянно всплывает другое слово - distillation.
И вот тут я понял, что слово вроде знакомое, но понимал я его где-то на уровне "одна нейронка постоянно что-то спрашивает у другой". Почему OpenAI вообще должно волновать, что конкурент задаёт её модели много вопросов? Я тоже каждый день мучаю ChatGPT, но Grok у меня в кладовке пока не завёлся. Опять, пришлось разбираться самому!
Дистилляция - это когда есть большая и умная модель-учитель, а рядом модель-студент, обычно меньше, дешевле и тупее. Учителю дают много задач, сохраняют ответы, а затем обучают студента воспроизводить похожий результат. Веса учителя никто не копирует и в его мозги отвёрткой не залезает. Студент видит только вопросы и ответы, но даже этого хватает, чтобы перенять довольно много полезного.
Представьте прожжёного сеньора, рядом с которым полгода сидит джун и смотрит ему в рот, как тот разбирает задачи. Сеньор не просто сообщает правильный ответ, а показывает, как раскладывать проблему, какие предположения проверять и когда задавать уточняющие вопросы. Через некоторое время джун начинает рассуждать подозрительно похожим образом, хотя исходники мозга сеньора ему никто не выдавал. С моделями примерно та же херня, только вместо полугода у нас миллионы примеров.
Причём студенту необязательно становиться универсальным ChatGPT на минималках. Допустим, нам нужна модель, которая умеет только готовить блюда из яиц, но делает это охуенно: учитывает продукты, диету, время и доступную посуду. Можно спрашивать большую модель только про эту область, собрать ответы и обучить на них маленький EggGPT. Знать историю Китая и писать рэп-баттлы между базами данных ему вообще не обязательно.
Почему тогда крупные компании боятся дистилляции, если для неё всё равно нужны вычисления, данные и инженеры? Потому что сильная модель уже проделала гигантскую работу: переварила интернет, нашла закономерности и научилась нормально решать задачи. Конкуренту остаётся не повторять весь путь, а собрать концентрированную обучающую выборку из готовых ответов. Это всё ещё дорого и сложно, но потенциально сильно дешевле, чем выращивать сопоставимое качество с нуля.
Сама дистилляция абсолютно нормальна, и компании постоянно используют её для собственных моделей. Скандал начинается, когда учителем без особого согласия становится коммерческая модель конкурента, а запросы отправляются промышленными объёмами именно ради обучения. Технически механизм тот же, но внезапно становится важно, кто оплатил создание учителя и разрешал ли он превращать свои ответы в чужой датасет. Поэтому боятся не человека, который спросил рецепт омлета, а фабрики, которая круглосуточно вытягивает знания и поведение модели.
Я хз как к этому относится. С одной стороны, это не воровство, по сути модель открыта и конкуренты даже платят за вызовы... Но с другой всё равно как-то хреново получается) А вы что думаете?
AI Для Задротов. Подписаться.
В конце прошлой недели, весь AI-интернет обсуждал, кто в этот раз пидор, Маск, OpenAI или все сразу. у нас появилась новая серия корпоративной Санта-Барбары. Напомню, SpaceX купила Cursor, после чего OpenAI сообщила, что собирается перестать поставлять ему свои модели. Официально причина в том, что OpenAI больше не уверена(лол так можно??) в соблюдении своих условий компаниями Маска. Но в комментариях к этой истории постоянно всплывает другое слово - distillation.
И вот тут я понял, что слово вроде знакомое, но понимал я его где-то на уровне "одна нейронка постоянно что-то спрашивает у другой". Почему OpenAI вообще должно волновать, что конкурент задаёт её модели много вопросов? Я тоже каждый день мучаю ChatGPT, но Grok у меня в кладовке пока не завёлся. Опять, пришлось разбираться самому!
Дистилляция - это когда есть большая и умная модель-учитель, а рядом модель-студент, обычно меньше, дешевле и тупее. Учителю дают много задач, сохраняют ответы, а затем обучают студента воспроизводить похожий результат. Веса учителя никто не копирует и в его мозги отвёрткой не залезает. Студент видит только вопросы и ответы, но даже этого хватает, чтобы перенять довольно много полезного.
Представьте прожжёного сеньора, рядом с которым полгода сидит джун и смотрит ему в рот, как тот разбирает задачи. Сеньор не просто сообщает правильный ответ, а показывает, как раскладывать проблему, какие предположения проверять и когда задавать уточняющие вопросы. Через некоторое время джун начинает рассуждать подозрительно похожим образом, хотя исходники мозга сеньора ему никто не выдавал. С моделями примерно та же херня, только вместо полугода у нас миллионы примеров.
Причём студенту необязательно становиться универсальным ChatGPT на минималках. Допустим, нам нужна модель, которая умеет только готовить блюда из яиц, но делает это охуенно: учитывает продукты, диету, время и доступную посуду. Можно спрашивать большую модель только про эту область, собрать ответы и обучить на них маленький EggGPT. Знать историю Китая и писать рэп-баттлы между базами данных ему вообще не обязательно.
Почему тогда крупные компании боятся дистилляции, если для неё всё равно нужны вычисления, данные и инженеры? Потому что сильная модель уже проделала гигантскую работу: переварила интернет, нашла закономерности и научилась нормально решать задачи. Конкуренту остаётся не повторять весь путь, а собрать концентрированную обучающую выборку из готовых ответов. Это всё ещё дорого и сложно, но потенциально сильно дешевле, чем выращивать сопоставимое качество с нуля.
Сама дистилляция абсолютно нормальна, и компании постоянно используют её для собственных моделей. Скандал начинается, когда учителем без особого согласия становится коммерческая модель конкурента, а запросы отправляются промышленными объёмами именно ради обучения. Технически механизм тот же, но внезапно становится важно, кто оплатил создание учителя и разрешал ли он превращать свои ответы в чужой датасет. Поэтому боятся не человека, который спросил рецепт омлета, а фабрики, которая круглосуточно вытягивает знания и поведение модели.
Я хз как к этому относится. С одной стороны, это не воровство, по сути модель открыта и конкуренты даже платят за вызовы... Но с другой всё равно как-то хреново получается) А вы что думаете?
AI Для Задротов. Подписаться.