.NET epeshk blog

LLM оказались упорнее людей

2 недели назад LLM впервые справилась с математической задачей, которая казалась безнадёжной — опровергла гипотезу о якобиане, приведя явный контрпример.

Задача не поддавалась людям 87 лет, и представляет собой классический пример гипотезы, доказательство которой (если она верна) займёт сотни страниц, а для опровержения достаточно лишь привести пример, когда условия не выполняются. Аналогичное свойство есть у Великой теоремы Ферма и Теореме о четырех красках, которые, в отличие от гипотезы о якобиане, оказались верны и были доказаны.

Здесь можно сказать что человеческий вклад в опровержение гипотезы тоже был, но он был минимальным — результат сразу воспроизвели простыми вопросами к другим LLM. Нейросети также самостоятельно обобщили результат для построения бесконечного множества контрпримеров. Т.е. нейросеть действительно создала новое знание, которого раньше не было ни в обучающей выборке, ни вообще где либо среди человеческих достижений.

Гипотеза о якобиане не такая и важная, не входит в проблемы тысячелетия, за неё не назначена награда, и максимум выгоды, который можно из неё извлечь это строчка с именем в википедии. Но в пятницу ИИ смог решить другую задачу с огромной наградой в $100млн, которая годами ускользала от людей

Как LLM добыла $100млн

Оказалось, что один известный холодный криптокошелек 5 лет содержал баг, приводящий к использованию софтверного псевдорандома вместо рандома с security chip. Этот кошелек рекламировался как ultra-secure, with verifiable open-source firmware, и на нём написано: "Don't trust. Verify." Кошелёк был призван удовлетворить потребности самых параноидальных пользователей: коммуникация с компьютером происходила через сканирование QR-кодов, а для питания использовалась батарейка Крона, чтобы исключить side-channel атаку по флуктуациям потребления тока

В коде содержалась строка
#define MICROPY_HW_ENABLE_RNG (0)
отключающая честный рандом

Рядом был и assert:

#ifndef MICROPY_HW_ENABLE_RNG
#error "get a HW TRNG plz"
#endif

Но он некорректный: #ifndef проверяет, что константа не определена, но она определена — в 0. В итоге ассерт не срабатывал, а код компилировался с низкокачественным рандомом, который снижал секретность приватных ключей с 2^128 до 2^40 (по некоторым оценкам и до 2^32)

В итоге кто-то добыл крипты на $100млн, оставив пользователей этих кошельков ни с чем. Баг оставался незамеченным 5 лет. Кошельки были опустошены максимально заметно, без попыток хоть как-то замести следы и скрыть украденный баланс, из чего можно сделать вывод, что код для массового перевода написала нейросеть, не вникая в смысл происходящего (здесь отмечу, мы не знаем точно, нашла ли баг нейросеть, но глупая реализация атаки явно намекает на это)

Казалось бы, баг элементарный, награда гигантская. Почему же не нашли раньше без нейронок? Скорее всего, т.к. баг выглядит слишком глупо. Подобные были в первых реализациях кошельков, и все считали, что так облажаться больше невозможно, вообще никак, в итоге никто и не искал

И у гипотезы о якобиане, и у этого кошелька есть общая черта — там побывали тысячи немотивированных исследователей, и рассказали всем, что задача сложная, они попробовали всё что могли, и искать там больше нечего.

Человеческая сущность боится зря потраченного времени, боится потерпеть поражение, и предпочитает верить предыдущим исследователям вместо собственных попыток. А у нейронок нет ни подобных комплексов, ни сожаления о зря потраченном времени и токенах (за них нейронкам все равно заплатят, даже если получится слоп, в отличие от мясных)

Интересно, что баг в кошельке появился из человеческого желания навредить конкурентам. Автор кошелька изначально начинал проект как форк, но затем решил переписать GPL код на кастомную криптографию, чтобы никто не форкнул его версию

@epeshkblog

Бежать со всех ног, чтобы только оставаться на месте

Именно это придётся делать дотнету для выживания в мире Mythos-level моделей, которые могут всё переписать

В этом посте разберём, что нейронки могут улучшить в .NET.

Критерии отбора задач:
- очевидна полезность
- гарантированно существует решение
- требует больших трудозатрат для реализации

1. Сделать кросскомпиляцию для NativeAOT. Сейчас фактически нужно компилировать код под каждую платформу отдельно. Хочу на Windows x64 компилировать под Macbook M5 Max, а на макбуке — под легаси Windows x64

2. Pauseless GC. Сейчас GC в .NET имеет неустранимые stop-the-world паузы, которые могут длиться неограниченное время. Нейронки могут вдохновиться Java и реализовать алгоритмы сборки мусора с гарантированным временем паузы

3. JIT-оптимизации по анроллингу циклов. Вот пример, где Java в 2 раза быстрее за счёт анроллинга

4. Const generics. Возможность использовать константу как generic-параметр. Array arrayOfThreeInts. Прототип фичи уже реализован, но заброшен с аргументацией, что нужны ресурсы

5. Green Threads. Уже были реализованы вручную, в итоге реализация оказалась неудачной, и была отвергнута в пользу Runtime Async. Имеет смысл сделать второй заход

6. Улучшение дебаг инструментов. Например, миграция PerfView на AvaloniaUI/Blazor. Должна быть возможность анализировать dotnet trace без использования Windows и без конвертации в флеймграфы для браузера

7. Нативная поддержка int128/int256 констант в языке C# (сейчас тип есть, а константу задать нельзя, только через Int128.Parse("..."))

8. llvm backend для NativeAOT, включающийся одним параметром --llvm

9. Переписать dotnet runtime с C++ на Rust

10. Оптимизировать все методы ToString / TryFormat. Например, DateTime имеет оптимизированный путь для форматов O/R/S и неэффективный для форматной строки

@epeshkblog

Claude Fable 5 написал GC для .NET на C#

Если точнее, модель довела до ума проект по написанию managed GC от Kevin Gosse. На некоторых бенчмарках, AI сгенерированный нейронкой GC не уступает в производительности оригинальному

neuecc с помощью Fable 5 ускорил WriteInt в MessagePack. Вместо того, чтобы просить AI ускорить код и make no mistakes применили итеративный подход. В промпт загружались C# исходник и его disassembly после JIT-компиляции + результаты бенчмарков. Модель анализировала ассемблерные инструкции и шаг за шагом подгоняла исходный C# код. Результат — ускорение в 4 раза

Anthropic купили bun — Javascript рантайм, на котором работает Claude Code. Сразу после покупки Fable 5 переписал bun с Zig на Rust за 11 дней, потратив на это $165K токенов

====

Нейронки эволюционировали и теперь успешно пишут не только веб на реакте, но и низкоуровневый код. Масштабные проекты и сложные переписывания архитектуры теперь реализуемы за пару недель. Единственное ограничение — бюджет на токены.

Языку Zig не повезло. ИИ просто исключил его из цепочки, отдав предпочтение более надежному Rust. Похожая участь досталась C# NativeAOT, когда порт компилятора TypeScript сделали на Go.

Можно считать, что ценность стека технологий == ценности проектов, которые на нём написаны. И теперь технологии без прочной экосистемы популярных продуктов будут быстро вытесняться нейросетями в пользу мейнстрима

@epeshkblog

goodbye, gc.cpp!

Ушла эпоха. В .NET 11 Garbage Collector разделили по файлам. Больше нет легендарного gc.cpp с более 50к строк кода

https://github.com/dotnet/runtime/pull/125703