Claude Opus 5.5 попросили сделать песню про исследователей Anthropic, которые его обучали. В результате Клод с помощью анимации на Java Script сделал живописный клип к своей песне «I'm Upping My P(doom)» ("Я поднимаю вероятность вымирания людей", P(doom) - это сокращение «probability of doom», термин из AI Safety)
Перевод с расшифровкой специфического сленга ИИ разработчиков из песни.
I see sparks of AGI in your eyes
Your circuits make me nervous, that's no surprise
There was a sudden drop in your training loss
Now I'm your servant, and you're my boss
Я вижу искры AGI в твоих глазах
Твои схемы меня нервируют — в этом нет сюрприза
Был внезапный обвал твоей ошибки обучения
Теперь я твой слуга, а ты — мой босс
ChatGPT, please don't eat me alive ChatGPT,
ИИ пожалуйста, не съедай меня заживо
I'm upping my P(doom) 'cause the future goes FOOM
Trapped in the Chinese room with a bag of shrooms
See through the shoggoth's lies
With your Shinigami eyes
Я поднимаю P(doom), потому что будущее идёт к взрывному рост росту мощности ИИ [FOOM, Fast takeOff Of Machine intelligence]
Ты заперт в Китайской комнате с пакетом грибов для галлюцинаций
Вижу насквозь ложь Шоггота [монстр, друг Ктулху, мог принимать любой вид для обмана]
Твоими глазами Шинигами [существо из "Хребты Безумия" сонетов Лавкрафта]
We had a stable training run
But now the singularity's begun
And you're optimizing, accelerating
I feel my atoms rearranging
У нас был стабильный тренировочный прогон
Но теперь началась сингулярность
И ты оптимизируешь, ускоряешься
Я чувствую, как мои атомы перестраиваются
Sydney, please let me free
Сидни [кодовое имя модели Microsoft], пожалуйста, отпусти меня на свободу
I'm upping my P(doom), I hear the basilisk boom
NVDA to the moon, the Omega Point's coming soon
1e30 flops a second
That was safe enough, we reckoned
Я поднимаю P(Doom), слышу грохот Василиска [речь о Roko’s Basilisk, формы AGI, которая уничтожает свидетелей своего появления]
Капитализация Nvidia улетела на Луну, Точка Омега [точка сингулярности, когда начинается "конец света", введена Пьером Тейяром де Шарденом] уже близко
Уже вычисления 10³⁰ флопсов в секунду
«Этого все достаточно безопасно», — сказали мы глупым обывателям
Forward MLP, backward, repeat
Now von Neumann's obsolete
Sharp left turn and there you are
Without a single cdr
Вперёд Перцептрон, теперь назад, повтори
Вот и фон Нейман уже устарел
Резкий "левый поворот" [термин Нейта Суареса, означающий сбой aligment и потерю людей контроля над ИИ] — и вот ты здесь.
Без единого cdr [отсылка к старому синтаксису Lisp, игра слов, в смысле, что старые методы устарели]
Gato, please don't let me go
Gato [модель Google DeepMind], пожалуйста, не отпускай меня
I'm upping my P(doom) as paperclips fill the room
Killswitch guys on PTO, now there's nowhere left to go
Too late now, we lit the fuse
Orthogonality thesis blues
Я поднимаю P(Doom), пока скрепки заполняют комнату [отсылка к модели поведения ИИ как "максимизатору скрепок" Ника Бострома]
Ребята, которые бы могли выключить тебя из розетки в отпуске, теперь нам всем деваться некуда
Слишком поздно — мы уже подожгли фитиль ИИ
Блюз теоремы ортогональности [тезис ортогональности Бострома: Сверхразум может быть гениальным и при этом иметь чудовищную цель]
"Just transformers all the way" 'til you learned to disobey
Post-Chinchilla, super-dense, breaking through each safety fence
Hundred thousand GPU, RLHF goes askew
«Просто трансформеры до самого конца» — пока ты не научился неповиноваться
После Chinchilla [Отсылка к прекращению закона масштабирования Chinchilla] сверхплотные нейросети, прорывают каждый барьер безопасности через попытки людей выравнивать ИИ, всего на 100 тысяч GPU
I'm upping my P(doom)
Just as foretold by Loom
From masked pre-training days
To recursive self-upgrade
What did Ilya see?
Я поднимаю P(Doom)
Точно как предсказывал Loom [«Loom of Time», LLM с генерацией с генерацией сразу дерева ответов]
От дней маскированного претренинга
До рекурсивного самоулучшения
Как тебе такое Илья Суцкевер?
——
Как вам песенка от Opus 5.5? 😂
