🚀 KAN - архитектура нейросетей, которая не стала «убийцей MLP»
В 2024 году на волне интереса к интерпретируемому ИИ появилась новая архитектура - Kolmogorov–Arnold Networks (KAN). Она основана на теореме Колмогорова–Арнольда, которая заключается в том, что любую сложную многомерную функцию можно разложить на комбинацию одномерных.
Вместо фиксированных функций активации (ReLU, sigmoid и т.д.) внутри нейронов, как в MLP, в KAN функции активации становятся обучаемыми и помещаются на рёбрах сети. Для их параметризации используются B-сплайны - кусочно-гладкие полиномы, которые позволяют локально и гибко менять форму функций.
➕ Что это даёт
- меньше чувствительность к «проклятию размерности» (curse of dimensionality - экспоненциальный рост сложности при увеличении числа признаков),
- меньше параметров при сопоставимой точности,
- интерпретируемость - из сети можно извлекать символьные формулы, а не «чёрный ящик».
➖ Минусы
- медленное обучение,
- пока мало практических кейсов,
- проблемы с функциями, имеющими много резких изменений и особенностей (разрывы, резкие пики) (фрактальные функции).
Почему KAN недооценили?
KAN вышел в то же время, когда всё внимание сообществa было приковано к битве гигантов LLM (GPT, Claude, LLaMA). В итоге идея компактной, прозрачной нейросети оказалась в тени больших языковых моделей. Но потенциал у KAN есть - особенно там, где важна объяснимость и эффективность.
Как попробовать самим?
- научные исследования (математика, физика, биология), системы управления, оптимизация,
- задачи с высокоразмерными данными,
- интерпретируемые модели в финтехе, иб или медицине,
- быстрые прототипы идей - на GitHub уже есть библиотека PyKAN.
Кейс использования из практики. Как мы использовали KAN для реверс-инжиниринга электропривода.
Так как KAN не только аппроксимирует функцию (как MLP), но и позволяет восстановить её в аналитическом виде - через символьные формулы, по датасету с входами/выходами системы управления электропривода (ток, напряжение, момент, скорость, углы, управляющие сигналы и тд), KAN "выучил" функциональные зависимости между этими параметрами.
На выходе получили не только модель 🧠, которая предсказывает поведение системы, но и читаемую формулу, приближающую реальные уравнения электропривода. Фактически, мы провели реверс-инжиниринг математической модели по сырым данным.
🤪 То есть:
1. Подаешь данные системы управления
2. Обучаешь KAN
3. Извлекаешь приближенную математическую модель (аналоги дифференциальных уравнений динамики электропривода).
🍓Можно потренироваться на синтетике, сгенерил данные по формулам, а потом формулы восстановил обратно. Там глядишь и опишешь уже рынок биткоина =) Practice makes perfect!
Помимо того, что это очень ценно именно в инженерных задачах (электроприводы, мехатроника, робототехника), где важна физическая интерпретация, а не просто «чёрный ящик», данный подход может использоваться злоумышленниками для подготовки атак на системы управления сложными техническими системами, да и в целом на КИИ: системы управления энергосетями, промышленные станки и транспорт. Это еще раз подчеркивает, что интерпретируемость - это не только прояснение моделей, но и потенциальные риски.
В 2024 году на волне интереса к интерпретируемому ИИ появилась новая архитектура - Kolmogorov–Arnold Networks (KAN). Она основана на теореме Колмогорова–Арнольда, которая заключается в том, что любую сложную многомерную функцию можно разложить на комбинацию одномерных.
Вместо фиксированных функций активации (ReLU, sigmoid и т.д.) внутри нейронов, как в MLP, в KAN функции активации становятся обучаемыми и помещаются на рёбрах сети. Для их параметризации используются B-сплайны - кусочно-гладкие полиномы, которые позволяют локально и гибко менять форму функций.
➕ Что это даёт
- меньше чувствительность к «проклятию размерности» (curse of dimensionality - экспоненциальный рост сложности при увеличении числа признаков),
- меньше параметров при сопоставимой точности,
- интерпретируемость - из сети можно извлекать символьные формулы, а не «чёрный ящик».
➖ Минусы
- медленное обучение,
- пока мало практических кейсов,
- проблемы с функциями, имеющими много резких изменений и особенностей (разрывы, резкие пики) (фрактальные функции).
Почему KAN недооценили?
KAN вышел в то же время, когда всё внимание сообществa было приковано к битве гигантов LLM (GPT, Claude, LLaMA). В итоге идея компактной, прозрачной нейросети оказалась в тени больших языковых моделей. Но потенциал у KAN есть - особенно там, где важна объяснимость и эффективность.
Как попробовать самим?
- научные исследования (математика, физика, биология), системы управления, оптимизация,
- задачи с высокоразмерными данными,
- интерпретируемые модели в финтехе, иб или медицине,
- быстрые прототипы идей - на GitHub уже есть библиотека PyKAN.
Кейс использования из практики. Как мы использовали KAN для реверс-инжиниринга электропривода.
Так как KAN не только аппроксимирует функцию (как MLP), но и позволяет восстановить её в аналитическом виде - через символьные формулы, по датасету с входами/выходами системы управления электропривода (ток, напряжение, момент, скорость, углы, управляющие сигналы и тд), KAN "выучил" функциональные зависимости между этими параметрами.
На выходе получили не только модель 🧠, которая предсказывает поведение системы, но и читаемую формулу, приближающую реальные уравнения электропривода. Фактически, мы провели реверс-инжиниринг математической модели по сырым данным.
🤪 То есть:
1. Подаешь данные системы управления
2. Обучаешь KAN
3. Извлекаешь приближенную математическую модель (аналоги дифференциальных уравнений динамики электропривода).
🍓Можно потренироваться на синтетике, сгенерил данные по формулам, а потом формулы восстановил обратно. Там глядишь и опишешь уже рынок биткоина =) Practice makes perfect!
Помимо того, что это очень ценно именно в инженерных задачах (электроприводы, мехатроника, робототехника), где важна физическая интерпретация, а не просто «чёрный ящик», данный подход может использоваться злоумышленниками для подготовки атак на системы управления сложными техническими системами, да и в целом на КИИ: системы управления энергосетями, промышленные станки и транспорт. Это еще раз подчеркивает, что интерпретируемость - это не только прояснение моделей, но и потенциальные риски.