MLP: теорема об универсальной аппроксимации — это как строить горку из кубиков
Представь, что тебе нужно построить плавный холмик (гладкую кривую), а у тебя есть только маленькие одинаковые кубики Lego — прямоугольные, все одной формы.
Если положить всего 3 кубика — получится грубая ступенька, совсем не похожая на холмик.
Если положить 100 кубиков — уже похоже на холм, но видны мелкие уголки.
Если положить 10 000 кубиков — на глаз уже не отличишь от гладкой горки.
Вот и всё, что говорит теорема универсальной аппроксимации: если взять достаточно много простых одинаковых деталек (нейронов с фиксированным «изгибом» — ReLU или похожим) и правильно их расставить, сложить, — можно подобрать горку, которая почти неотличима от любой нужной формы.
Ключевое слово — «почти». Ты никогда не получишь идеально гладкую линию из кубиков, только всё более и более точную имитацию. Это как рисовать круг из маленьких прямых палочек: чем больше палочек — тем круглее выглядит, но это всегда многоугольник, а не настоящий круг.
Именно так работает нейросеть внутри LLM: миллиарды простых «кубиков» (нейронов с одной и той же фиксированной нелинейностью), сложенных так, чтобы в сумме подражать очень сложной функции — предсказанию следующего слова.
KAN: теорема Колмогорова-Арнольда — это как рецепт компота
Представь, что вкус компота зависит от трёх вещей: сколько яблок, сколько сахара и сколько воды ты положил. Зависимость может быть очень сложная и запутанная — не просто «чем больше сахара, тем слаще», а с всякими взаимными влияниями.
Теорема Колмогорова-Арнольда говорит нечто удивительное: для абсолютно любого такого сложного рецепта всегда можно поступить так —
Взять количество яблок — и пропустить его через свою собственную «переводную таблицу» (функцию только от яблок).
Взять сахар — пропустить через свою «переводную таблицу» (только от сахара).
Взять воду — через свою.
Просто сложить эти три получившихся числа.
Результат пропустить ещё через одну «переводную таблицу».
И это даст точно такой же результат, как исходный сложный рецепт — не приближённо, а ровно так же. Это гарантия, доказанная математически: любую функцию многих переменных можно собрать из функций одной переменной плюс сложение.
Отсюда и идея KAN: раз такое разложение всегда существует, давай сеть будет прямо учить эти «переводные таблицы» (кривые на связях) вместо того, чтобы клепать горку из миллиона одинаковых кубиков.
Главная разница одной фразой
MLP: «я не знаю точной формулы, но если взять ОЧЕНЬ много одинаковых простых деталек и сложить — получится похоже» (приближение).
KAN: «математика гарантирует: любую сложную вещь можно точно разложить на простые одномерные кусочки плюс сложение» (точное разложение).
MLP — это про упрямую грубую силу и много деталек. KAN — про элегантную, но более хрупкую и дорогую в вычислении точность.
Представь, что тебе нужно построить плавный холмик (гладкую кривую), а у тебя есть только маленькие одинаковые кубики Lego — прямоугольные, все одной формы.
Если положить всего 3 кубика — получится грубая ступенька, совсем не похожая на холмик.
Если положить 100 кубиков — уже похоже на холм, но видны мелкие уголки.
Если положить 10 000 кубиков — на глаз уже не отличишь от гладкой горки.
Вот и всё, что говорит теорема универсальной аппроксимации: если взять достаточно много простых одинаковых деталек (нейронов с фиксированным «изгибом» — ReLU или похожим) и правильно их расставить, сложить, — можно подобрать горку, которая почти неотличима от любой нужной формы.
Ключевое слово — «почти». Ты никогда не получишь идеально гладкую линию из кубиков, только всё более и более точную имитацию. Это как рисовать круг из маленьких прямых палочек: чем больше палочек — тем круглее выглядит, но это всегда многоугольник, а не настоящий круг.
Именно так работает нейросеть внутри LLM: миллиарды простых «кубиков» (нейронов с одной и той же фиксированной нелинейностью), сложенных так, чтобы в сумме подражать очень сложной функции — предсказанию следующего слова.
KAN: теорема Колмогорова-Арнольда — это как рецепт компота
Представь, что вкус компота зависит от трёх вещей: сколько яблок, сколько сахара и сколько воды ты положил. Зависимость может быть очень сложная и запутанная — не просто «чем больше сахара, тем слаще», а с всякими взаимными влияниями.
Теорема Колмогорова-Арнольда говорит нечто удивительное: для абсолютно любого такого сложного рецепта всегда можно поступить так —
Взять количество яблок — и пропустить его через свою собственную «переводную таблицу» (функцию только от яблок).
Взять сахар — пропустить через свою «переводную таблицу» (только от сахара).
Взять воду — через свою.
Просто сложить эти три получившихся числа.
Результат пропустить ещё через одну «переводную таблицу».
И это даст точно такой же результат, как исходный сложный рецепт — не приближённо, а ровно так же. Это гарантия, доказанная математически: любую функцию многих переменных можно собрать из функций одной переменной плюс сложение.
Отсюда и идея KAN: раз такое разложение всегда существует, давай сеть будет прямо учить эти «переводные таблицы» (кривые на связях) вместо того, чтобы клепать горку из миллиона одинаковых кубиков.
Главная разница одной фразой
MLP: «я не знаю точной формулы, но если взять ОЧЕНЬ много одинаковых простых деталек и сложить — получится похоже» (приближение).
KAN: «математика гарантирует: любую сложную вещь можно точно разложить на простые одномерные кусочки плюс сложение» (точное разложение).
MLP — это про упрямую грубую силу и много деталек. KAN — про элегантную, но более хрупкую и дорогую в вычислении точность.