LLM оказались упорнее людей
2 недели назад LLM впервые справилась с математической задачей, которая казалась безнадёжной — опровергла гипотезу о якобиане, приведя явный контрпример.
Задача не поддавалась людям 87 лет, и представляет собой классический пример гипотезы, доказательство которой (если она верна) займёт сотни страниц, а для опровержения достаточно лишь привести пример, когда условия не выполняются. Аналогичное свойство есть у Великой теоремы Ферма и Теореме о четырех красках, которые, в отличие от гипотезы о якобиане, оказались верны и были доказаны.
Здесь можно сказать что человеческий вклад в опровержение гипотезы тоже был, но он был минимальным — результат сразу воспроизвели простыми вопросами к другим LLM. Нейросети также самостоятельно обобщили результат для построения бесконечного множества контрпримеров. Т.е. нейросеть действительно создала новое знание, которого раньше не было ни в обучающей выборке, ни вообще где либо среди человеческих достижений.
Гипотеза о якобиане не такая и важная, не входит в проблемы тысячелетия, за неё не назначена награда, и максимум выгоды, который можно из неё извлечь это строчка с именем в википедии. Но в пятницу ИИ смог решить другую задачу с огромной наградой в $100млн, которая годами ускользала от людей
Как LLM добыла $100млн
Оказалось, что один известный холодный криптокошелек 5 лет содержал баг, приводящий к использованию софтверного псевдорандома вместо рандома с security chip. Этот кошелек рекламировался как ultra-secure, with verifiable open-source firmware, и на нём написано: "Don't trust. Verify." Кошелёк был призван удовлетворить потребности самых параноидальных пользователей: коммуникация с компьютером происходила через сканирование QR-кодов, а для питания использовалась батарейка Крона, чтобы исключить side-channel атаку по флуктуациям потребления тока
В коде содержалась строка
#define MICROPY_HW_ENABLE_RNG (0)
отключающая честный рандом
Рядом был и assert:
#ifndef MICROPY_HW_ENABLE_RNG
#error "get a HW TRNG plz"
#endif
Но он некорректный: #ifndef проверяет, что константа не определена, но она определена — в 0. В итоге ассерт не срабатывал, а код компилировался с низкокачественным рандомом, который снижал секретность приватных ключей с 2^128 до 2^40 (по некоторым оценкам и до 2^32)
В итоге кто-то добыл крипты на $100млн, оставив пользователей этих кошельков ни с чем. Баг оставался незамеченным 5 лет. Кошельки были опустошены максимально заметно, без попыток хоть как-то замести следы и скрыть украденный баланс, из чего можно сделать вывод, что код для массового перевода написала нейросеть, не вникая в смысл происходящего (здесь отмечу, мы не знаем точно, нашла ли баг нейросеть, но глупая реализация атаки явно намекает на это)
Казалось бы, баг элементарный, награда гигантская. Почему же не нашли раньше без нейронок? Скорее всего, т.к. баг выглядит слишком глупо. Подобные были в первых реализациях кошельков, и все считали, что так облажаться больше невозможно, вообще никак, в итоге никто и не искал
И у гипотезы о якобиане, и у этого кошелька есть общая черта — там побывали тысячи немотивированных исследователей, и рассказали всем, что задача сложная, они попробовали всё что могли, и искать там больше нечего.
Человеческая сущность боится зря потраченного времени, боится потерпеть поражение, и предпочитает верить предыдущим исследователям вместо собственных попыток. А у нейронок нет ни подобных комплексов, ни сожаления о зря потраченном времени и токенах (за них нейронкам все равно заплатят, даже если получится слоп, в отличие от мясных)
Интересно, что баг в кошельке появился из человеческого желания навредить конкурентам. Автор кошелька изначально начинал проект как форк, но затем решил переписать GPL код на кастомную криптографию, чтобы никто не форкнул его версию
@epeshkblog
2 недели назад LLM впервые справилась с математической задачей, которая казалась безнадёжной — опровергла гипотезу о якобиане, приведя явный контрпример.
Задача не поддавалась людям 87 лет, и представляет собой классический пример гипотезы, доказательство которой (если она верна) займёт сотни страниц, а для опровержения достаточно лишь привести пример, когда условия не выполняются. Аналогичное свойство есть у Великой теоремы Ферма и Теореме о четырех красках, которые, в отличие от гипотезы о якобиане, оказались верны и были доказаны.
Здесь можно сказать что человеческий вклад в опровержение гипотезы тоже был, но он был минимальным — результат сразу воспроизвели простыми вопросами к другим LLM. Нейросети также самостоятельно обобщили результат для построения бесконечного множества контрпримеров. Т.е. нейросеть действительно создала новое знание, которого раньше не было ни в обучающей выборке, ни вообще где либо среди человеческих достижений.
Гипотеза о якобиане не такая и важная, не входит в проблемы тысячелетия, за неё не назначена награда, и максимум выгоды, который можно из неё извлечь это строчка с именем в википедии. Но в пятницу ИИ смог решить другую задачу с огромной наградой в $100млн, которая годами ускользала от людей
Как LLM добыла $100млн
Оказалось, что один известный холодный криптокошелек 5 лет содержал баг, приводящий к использованию софтверного псевдорандома вместо рандома с security chip. Этот кошелек рекламировался как ultra-secure, with verifiable open-source firmware, и на нём написано: "Don't trust. Verify." Кошелёк был призван удовлетворить потребности самых параноидальных пользователей: коммуникация с компьютером происходила через сканирование QR-кодов, а для питания использовалась батарейка Крона, чтобы исключить side-channel атаку по флуктуациям потребления тока
В коде содержалась строка
#define MICROPY_HW_ENABLE_RNG (0)
отключающая честный рандом
Рядом был и assert:
#ifndef MICROPY_HW_ENABLE_RNG
#error "get a HW TRNG plz"
#endif
Но он некорректный: #ifndef проверяет, что константа не определена, но она определена — в 0. В итоге ассерт не срабатывал, а код компилировался с низкокачественным рандомом, который снижал секретность приватных ключей с 2^128 до 2^40 (по некоторым оценкам и до 2^32)
В итоге кто-то добыл крипты на $100млн, оставив пользователей этих кошельков ни с чем. Баг оставался незамеченным 5 лет. Кошельки были опустошены максимально заметно, без попыток хоть как-то замести следы и скрыть украденный баланс, из чего можно сделать вывод, что код для массового перевода написала нейросеть, не вникая в смысл происходящего (здесь отмечу, мы не знаем точно, нашла ли баг нейросеть, но глупая реализация атаки явно намекает на это)
Казалось бы, баг элементарный, награда гигантская. Почему же не нашли раньше без нейронок? Скорее всего, т.к. баг выглядит слишком глупо. Подобные были в первых реализациях кошельков, и все считали, что так облажаться больше невозможно, вообще никак, в итоге никто и не искал
И у гипотезы о якобиане, и у этого кошелька есть общая черта — там побывали тысячи немотивированных исследователей, и рассказали всем, что задача сложная, они попробовали всё что могли, и искать там больше нечего.
Человеческая сущность боится зря потраченного времени, боится потерпеть поражение, и предпочитает верить предыдущим исследователям вместо собственных попыток. А у нейронок нет ни подобных комплексов, ни сожаления о зря потраченном времени и токенах (за них нейронкам все равно заплатят, даже если получится слоп, в отличие от мясных)
Интересно, что баг в кошельке появился из человеческого желания навредить конкурентам. Автор кошелька изначально начинал проект как форк, но затем решил переписать GPL код на кастомную криптографию, чтобы никто не форкнул его версию
@epeshkblog