Репост из: AI Projects
🧠 Yuntian Deng, профессор из Гарварда (Associate, Harvard SEAS; Assistant Professor, UWaterloo), ранее был известен в узких кругах экспертов своим интересным проектом ProgramAsWeights (PAW). Однако как шутку на PAW он написал перевод с естественного языка на «Клодский»:
https://programasweights.com/claudish
Между тем PAW — интересная концепция, т.к. очередной умный китаец-профессор в ИИ предложил компилировать промпты для программы не в исполняемый код, а фактически сразу в нейросеть через крошечный LoRA-адаптер примерно ~23 МБ.
Работает это так:
1. Вы пишете промпт на свободном языке, он далее обязательно должен быть переработан ИИ в псевдокод, т.к. принципиален лингвистический denoising, т.е. очистка от семантического шума болтовни «кожаных» и перевод в паттерны ИИ. Это делает обычная SLM без дообучения, главное — не промпт от человека сразу.
2. Формируются входные данные как исходный промпт, псевдокод и подготавливаются всего 64 пустых вектора-токена.
3. Специально обученная нейросеть формирует эти 64 вектора, из которых потом и собирается крошечный LoRA-адаптер для запуска локально. По факту это компиляция не в код, а в нейросеть.
Решение может делать простые вещи кроме переводов на «Клодский» язык: может чинить поломанные форматы или классифицировать источники. Причём когда готова LoRA, она может делать это на 100% локально на крошечной нейросети.
Какие тут интересные инсайты:
• Переформулировка задачи ИИ своим языком — принципиальный момент для успеха решения задачи ИИ дальше, т.к. ИИ понимает только сам себя хорошо.
• Наши задачи для программирования намного проще для ИИ, чем нам кажется, т.к. фактически для него это тюнинг классификаторов задач. Даже небольшое подпространство критериев классификации может решать огромное количество задач программирования.
• Сама по себе идея компилировать задания не в код традиционных языков программирования, а сразу в веса нейросети выглядит интересной, и там, где решения вероятностные по смыслу, то вполне рабочий подход.
Отметим, что Маск считает, что такой метод компиляции спеков (ТЗ) сразу в веса убьёт многие традиционные языки программирования и среды как минимум в мобильных приложениях.
• https://arxiv.org/abs/2607.02512v1
https://programasweights.com/claudish
Между тем PAW — интересная концепция, т.к. очередной умный китаец-профессор в ИИ предложил компилировать промпты для программы не в исполняемый код, а фактически сразу в нейросеть через крошечный LoRA-адаптер примерно ~23 МБ.
Работает это так:
1. Вы пишете промпт на свободном языке, он далее обязательно должен быть переработан ИИ в псевдокод, т.к. принципиален лингвистический denoising, т.е. очистка от семантического шума болтовни «кожаных» и перевод в паттерны ИИ. Это делает обычная SLM без дообучения, главное — не промпт от человека сразу.
2. Формируются входные данные как исходный промпт, псевдокод и подготавливаются всего 64 пустых вектора-токена.
3. Специально обученная нейросеть формирует эти 64 вектора, из которых потом и собирается крошечный LoRA-адаптер для запуска локально. По факту это компиляция не в код, а в нейросеть.
Решение может делать простые вещи кроме переводов на «Клодский» язык: может чинить поломанные форматы или классифицировать источники. Причём когда готова LoRA, она может делать это на 100% локально на крошечной нейросети.
Какие тут интересные инсайты:
• Переформулировка задачи ИИ своим языком — принципиальный момент для успеха решения задачи ИИ дальше, т.к. ИИ понимает только сам себя хорошо.
• Наши задачи для программирования намного проще для ИИ, чем нам кажется, т.к. фактически для него это тюнинг классификаторов задач. Даже небольшое подпространство критериев классификации может решать огромное количество задач программирования.
• Сама по себе идея компилировать задания не в код традиционных языков программирования, а сразу в веса нейросети выглядит интересной, и там, где решения вероятностные по смыслу, то вполне рабочий подход.
Отметим, что Маск считает, что такой метод компиляции спеков (ТЗ) сразу в веса убьёт многие традиционные языки программирования и среды как минимум в мобильных приложениях.
• https://arxiv.org/abs/2607.02512v1