Философия и мусор

Вы только что начали читать фразу, чтение которой вы уже завершаете.

Не так страшна ошибка, как последующее заблуждение

FLRS память. Начало

Аналогия с калькулятором и художником
MLP — это как калькулятор: у него есть одна кнопка «×», и он жмёт её миллиард раз в секунду. Грубо, но невероятно быстро, и все современные компьютеры заточены именно под это.
KAN — как художник, который для каждой связи рисует свою уникальную кривую вручную, с нуля. Даже если в итоге его рисунок точнее передаёт форму, сам процесс рисования (запомнить форму кривой, провести её через нужные точки) требует куда больше труда, чем просто «умножить на число».
И ещё один нюанс: точная теорема — только для 2 слоёв
Строгая теорема Колмогорова-Арнольда доказана только для сети с фиксированной, небольшой глубиной (по сути 2 слоя) и с теми самыми «дикими» функциями, которые на практике использовать нельзя — их невозможно нормально выучить или запомнить.
Поэтому реальные KAN-сети идут на компромисс: берут гладкие сплайны вместо диких функций и складывают несколько слоёв друг на друга, чтобы приблизить (а не точно воспроизвести) нужную зависимость. То есть на практике KAN тоже приближает, а не вычисляет «точную формулу» — просто приближает не грубыми одинаковыми кубиками, а гибкими кривыми. А гибкость всегда стоит дороже жёсткости — что в жизни, что в вычислениях.

MLP: теорема об универсальной аппроксимации — это как строить горку из кубиков
Представь, что тебе нужно построить плавный холмик (гладкую кривую), а у тебя есть только маленькие одинаковые кубики Lego — прямоугольные, все одной формы.
Если положить всего 3 кубика — получится грубая ступенька, совсем не похожая на холмик.
Если положить 100 кубиков — уже похоже на холм, но видны мелкие уголки.
Если положить 10 000 кубиков — на глаз уже не отличишь от гладкой горки.
Вот и всё, что говорит теорема универсальной аппроксимации: если взять достаточно много простых одинаковых деталек (нейронов с фиксированным «изгибом» — ReLU или похожим) и правильно их расставить, сложить, — можно подобрать горку, которая почти неотличима от любой нужной формы.
Ключевое слово — «почти». Ты никогда не получишь идеально гладкую линию из кубиков, только всё более и более точную имитацию. Это как рисовать круг из маленьких прямых палочек: чем больше палочек — тем круглее выглядит, но это всегда многоугольник, а не настоящий круг.
Именно так работает нейросеть внутри LLM: миллиарды простых «кубиков» (нейронов с одной и той же фиксированной нелинейностью), сложенных так, чтобы в сумме подражать очень сложной функции — предсказанию следующего слова.
KAN: теорема Колмогорова-Арнольда — это как рецепт компота
Представь, что вкус компота зависит от трёх вещей: сколько яблок, сколько сахара и сколько воды ты положил. Зависимость может быть очень сложная и запутанная — не просто «чем больше сахара, тем слаще», а с всякими взаимными влияниями.
Теорема Колмогорова-Арнольда говорит нечто удивительное: для абсолютно любого такого сложного рецепта всегда можно поступить так —
Взять количество яблок — и пропустить его через свою собственную «переводную таблицу» (функцию только от яблок).
Взять сахар — пропустить через свою «переводную таблицу» (только от сахара).
Взять воду — через свою.
Просто сложить эти три получившихся числа.
Результат пропустить ещё через одну «переводную таблицу».
И это даст точно такой же результат, как исходный сложный рецепт — не приближённо, а ровно так же. Это гарантия, доказанная математически: любую функцию многих переменных можно собрать из функций одной переменной плюс сложение.
Отсюда и идея KAN: раз такое разложение всегда существует, давай сеть будет прямо учить эти «переводные таблицы» (кривые на связях) вместо того, чтобы клепать горку из миллиона одинаковых кубиков.
Главная разница одной фразой
MLP: «я не знаю точной формулы, но если взять ОЧЕНЬ много одинаковых простых деталек и сложить — получится похоже» (приближение).
KAN: «математика гарантирует: любую сложную вещь можно точно разложить на простые одномерные кусочки плюс сложение» (точное разложение).
MLP — это про упрямую грубую силу и много деталек. KAN — про элегантную, но более хрупкую и дорогую в вычислении точность.

Нет смысла достигать, когда нет цели самоутверждаться.

all-dpi-bypass-travel 👍🏻👍🏼👍🏽👍🏾👍🏿