Хилько о звуке для взрослых

На прошлой неделе я сделал вдумчивый разбор игры Bodycam.

Я вообще её себе поставил после того, как посмотрел дневник разработки, где разработчики обещали, что в их игре есть крутые системы звука - Organic Reverb и Shockwave Propagation.

Особенно круто звучало то, что они сказали, что в игре звук якобы физично распространяется по помещениям и коридорам. Реализовали систему взрывной волны, которая распространяет звук по геометрии уровня, и это даёт понимание, где произошёл выстрел или взрыв. У меня сразу загорелись глаза, я тоже хочу знать, как это работает.
В итоге я довольно глубоко разобрал реализацию звука в игре и восстановил принцип работы этих систем. И, признаться, немного разочаровался.

Поэтому записал отдельное видео, где показывал, как на самом деле устроены эти аудиосистемы и какими достаточно простыми средствами создаётся ощущение сложных физических свойств.

Я выложил видос на своём втором канале, и за день видео набрало более 10 000 просмотров. Много комментариев, с благодарностью, что людям нравится технический разбор систем звука.
А ночью видео удалили с ютьюб по copyright-жалобе.

После этого мне написал один из руководителей компании.

В письме он потребовал удалить остальные связанные материалы, предупредил о возможных юридических действиях и отдельно написал, что оставляют за собой право обратиться к моим нынешним или потенциальным работодателям и клиентам.

Приятно, что в личку пишет CEO, но лучше бы вместо угроз сказал: "Саша, давай ты нас научишь делать правильный звук в шутере".

Предполагать причины такого поведения от разработчиков здесь не вижу смысла. Но мне показалось эта история , что, публикуя независимый технический разбор о системах, можно нарваться на судебный иск и copyright claim.

Я всё же решил рассказать о том, как на самом деле работает bodycam, для этого полностью создал свой контент и воссоздал системы в UE5.6.

А потом показать, как на самом деле работать звук в их игре. И затем на этом примере показать, что нужно было сделать, чтобы игра зазвучала хорошо.

Небольшая демонстрация моей системы дифракции звука процедурной реверберации.

Позже подробнее расскажу, а пока тезисно:
- она умеет строить путь звука под разрушаемую геометрию,
- менять параметры первичных и вторичных отражений в зависимости от изменяющейся геометрии.

В основе моно-исходник Ноктюрна №2 Шопена.

Как я изначально и предполагал, в Bodycam никакой физики звука не считается, органик-реверб - это всего лишь смешивание заготовленных семплов. Но есть и прикольные решения, правда, сделанные не саунд-дизайнерами, а программистами - это airpoints (как в свежей Battlefield 6) и shockwave.

Подробный разбор звука игры Bodycam я сделал в свежей статье на спонсоре: https://sponsr.ru/xssracademy/184112

Там я подробно разбираю:
- почему звук с нательной камеры звучит так специфично;
- из каких слоёв собран выстрел;
- как на самом деле устроен органик-реверб: трассировки вокруг точки выстрела и бленд хвостов в зависимости от объёма и расстояний;
- как работают airpoints и почему выстрел выходит наружу через окно;
- из чего сделан shockwave;
- как я воссоздал пайплайн выстрела в Reaper с оригинальными ассетами игры;
- чего не хватает звуку.

Увидел недавний хайп вокруг дневников разработки игры Bodycam, в которых они гордо рассказывали про звук. Ну хорошо стелят, подумал я. И загорелся идеей разобраться, как это у них получилось.

В общем, скачал игру, разобрал анриловские файлы, собрал звуковой контент, декомпилировал блюпринты, сделал стенд в Reaper (в скрипте я повторяю полную математику из декомпиллированных исходников игры), чтобы показать, как работают их organic reverb и shockwave.

Сразу стоит отдать должное коллегам, они собирали это на коленке (используя только Sound Cue), и получилось неплохо. Но весь organic reverb - это бленд запечённых хвостов. Shockwave - это спаун запечённого звука в выбранной точке.
Решил сделать вдумчивый разбор по косточкам на своём спонсоре.

Напишите в комментариях, звук какой игры мне разобрать до сэмпла в следующий раз. Хотя у меня нет комментов. Выберу, пожалуй, Arc Raiders.

Один из самых моих полезных проектов был - доработка и переработка "первого ИИ-диктофона" Plaud.

На день рождения моя команда подарила мне это замечательное устройство. Это просто огненный секси-девайс. Тонкий, нормальная автономная работа, шикарное качество корпуса, крепится к телефону на магните. Ну просто огонь.
Единственный минус - он хорош тогда, когда вы подключаете платную подписку Plaud.

Вы нажимаете кнопку, и устройство начинает записывать, далее оно расшифровывает речь, запоминает, где ваш голос, а где не ваш, делает саммари. В общем, крутое современное устройство.

Но я ненавижу привязку к подпискам. Поэтому ушёл со всяких облачных хранилищ и прочих сервисов. То есть устройство почти бесполезно без подписки. Хорошая бизнес-модель. Как и дебильная Алиса.

Но я решил всё-таки сделать суверенный плауд.

1. Надо было научиться подключаться к самому устройству. Подключение к устройству зашифровано. Но если поймать код, который передаётся на сервер в оригинальном приложении, то уже можно подключиться самостоятельно с любого устройства.

2. Далее все записи хранятся в шифрованном виде. Вот здесь пришлось попотеть, чтобы найти, как оригинальное приложение расшифровывает записи. Кратко - есть некий код, который зашивается в сами ogg на устройстве, и если узнать последовательность, то можно получать расшифрованную запись.

3. А затем нужно создать инфраструктуру для расшифровки звука в текст, саммаризации текста, диаризации (распознавания, кто говорит), ну и далее - на свободный полёт фантазии, например, выставлять задачи по итогу обсуждений.

Я начал с создания прям красивого приложения. Очень я люблю, чтобы даже мои драфтовые наработки были с красивым интерфейсом. Вдохновившись дизайном Teenage Engineering, сделал приложение, которое подключается к устройству и сразу скачивает с устройства все не скачанные записи.

Далее приложение эти записи отправляет на мой приватный сервер (физический сервер, про который я рассказывал ранее). Далее сначала смотрится, где есть речь, запись расшифровывается в текст, и параллельно с этим сервер ищет голоса знакомых людей. Каждый раз, если звучит новый, неизвестный ему голос, в приложении можно вписать имя.
Затем из полученной расшифровки с указанными людьми происходит создание саммаризации.

Самое прикольное, что формат можно создавать абсолютно любой. Можно даже на каждый тип встреч (а тип определяется по контексту: созвон, личное, голосовая заметка, надиктованный пост, встреча команды и т. д.) создавать свой тип саммари, экшнайтемов, отправлять задачи, которые я не буду смотреть. А далее созданный саммари появляется в моём Obsidian.

Если мне нужно прослушать запись, я для себя выбрал самый крутой нейросетевой шумодав и интегрировал его внутрь - и для прослушивания можно всегда иметь под рукой чистую запись.

В общем, получился действительно крутой проект. Я параллельно сделал для себя ещё копию приложения, но только работающую с микрофоном телефона - устройство не нужно, и всё работает идентично. Но всё-таки люблю этот маленький красивый диктофон.

Спасибо за этот прекрасный подарок!

Один мой близкий друг пригласил вчера поучаствовать в его проекте Тёрка "по барам", где приглашают блогеров (да-да, если что, я тоже не знал, что я блогер) и за вечер нужно посетить несколько баров, попробовать их коктейли и кухню. Отличная идея, показалось мне, очень похоже на то, как раньше мы посещали по несколько клубов за ночь.

Моим фаворитом стал бар "Грецкий", в котором у меня прям все совпало. Владелицы бара Юля и Лена разделяют такие же ценности: уважение (не путать с увОжением), совесть и увлеченность своим делом. И все это в стиле "шкура на кону". Только в таком сочетании получаются хорошие проекты, так как все делается на свои.

Одной из фишек заведения является большая коллекция винила. Прям очень большая и с раритетными пластинками. Одна из владелиц Грецкого сама ее собирала. Когда меня спросили, какую пластинку я хотел бы поставить, у меня аж забегали глаза.

За мою музыкальную карьеру, выступая даже на крупных фестивалях, мне не удавалось увернуться от людей, которые просили поставить какой-то трек. Это ужасно бесило. А теперь я оказался по ту сторону пульта, и это было прикольно. Я наконец понял людей "поставь вот этот трек".

Кстати, они предлагают приходить со своими пластинками и слушать их вместе. Это вообще огонь.

Мы посетили три бара и потом решили вернуться в Грецкий. Руководствуясь принципом "лучшая поддержка - это прийти и за фул прайс заказать на всех коктейли".

Желаю девчонкам успеха и буду приходить и поддерживать.

Кстати, хочу на днях сходить туда со старшей дочкой, так как она недавно хотела себе купить проигрыватель. Поедим там каких-то крутых хот-догов, до которых мы вчера не добрались.

Я уже ранее рассказывал про созданных мной помощников: ленту новостей и поисковик товаров.
Расскажу ещё одну хорошую идею, которая у меня немного видоизменилась.

Как и большинство из вас, я понятия не имею, что находится у меня в подвале. Это место, которое каким-то магическим способом захламляется. И вот в очередной раз, спускаясь в подвал, чтобы посмотреть, лежит ли там краска и не кончился ли её срок, я подумал, что было бы круто сделать каталог всего, что в подвале. Но заносить это руками довольно унылое занятие.

Вот для того чтобы сделать автоматический каталог, я придумал агента (напомню, размещаю их на своей изолированной raspberry pi5).

Фоткаешь, что на полке, а агент распознаёт изображение и всё каталогизирует и фиксирует срок годности, если нужно.
Всё довольно примитивно и работает очень хорошо. Но как-то мне было лень фоткать все полки (возможно, позже вернусь к этой идее).

Но идея раскрылась новой гранью в другом проекте. Склад электронных компонентов в мастерской. Тот же принцип: раскладываю компоненты на столе, фоткаю агенту в телегу. Туда же агенту закидываю заказы из радиомагазинов, и для каждого компонента создаётся md-файл с названием, а агент находит для него даташит и визуальное изображение. Всё это хранится у меня на сервере и доступно с моих устройств.

Получилась хорошая база данных. Например, можно задать вопрос агенту: скажи, каких не хватает компонентов для создания такого-то устройства. Агент уточнит, что это и как должно работать, найдёт примерный вариант, посмотрит базу компонентов и может даже собрать заказ в любимых магазинах.

Вот это уже прям полезно. Думаю, систему можно для любого склада донастроить. Хоть для фермерского хозяйства.

И если хочется повторить такое же, просто закиньте мой пост в нейронку и попросите собрать такую же систему.