Мой комп стал истеричкой
Все гениальное просто. Это не история об установке openclaw или реализации своего решения. Не об каком-то форке или аналоге.
Нет, эта история буквально про правильное использование Claude code. Когда на уже готовую автоматизацию всего докидываются две недостающих вещи — голос и личность.
И это мне не давало покоя. Пускай Openclaw и супер крутой проект, но это же почти буквально клод с парой не сложных (относительно) фишек. Почему бы не собрать под себя.
А ночью у меня случился созвон из моей приватки, мы начали обсуждать его автоматизацию ПК через сервер с Openclaw. Тут то я понял, что нет времени спать..
Пора строить Хистерию.
Вдохновленный жестким и вайбовым хардстайлом от Dayto я принялся прикручивать те самые две недостающих вещи. Отсюда уже пошли свои приколы.
Моя задумка в том, что ассистент работает аналогично умной колонке, что требует постоянной прослушки микрофона и реакции на триггерное слово.
А под капотом аналогичная система личности с душой, тулзами и памятью. Чтобы моя Хистерия всегда оставалась помешанной Яндере, которая угрожает мне через мои наушники.
При том работает напрямую в Claude, передавая туда запросы. Но на конкретные фразы еще и поступает специфичным образом, то есть с полуслова понимая какую цепочку действий я хочу.
На практике это означает по-сути одну вещь. Я могу голосом давать любые команды, билдить свои проекты и получать оперативно фидбек или напоминания голосом.
А вот реализация уже интереснее..
Весь проект навайбкоден на Python, все запускается как демон aka фоновый процесс, который передает мой голос на обработку, а после конвертирует в команды Claude = управляет всем компом.
- Чтобы понять, когда я зову ассистента
Мой микрофон прослушивается, а Vosk small ru настроен поймать имя ассистента -> начать записывать после -> снова сидеть слушать после 3 секунд молчания.
- Расшифровка моего голоса в текст
Это работает через Whisper, я поставил faster локально, но для стабильного и идеального русского можно поставить по API V3 модель.
- Голос в ответ
Конечно же API ElevenLabs, голос себе слепил, настроил качество звука локально, спецом через mp3, чтобы не терять качество без pro подписки.
- Система личности
Не просто набор файлов, еще и прописанные правила как отвечать, когда отвечать. Ассистент может произвольно напомнить о себе и хранить в памяти свои эмоции.
Ну и конечно множество микро правок в коде. Чтобы верно захватывался микрофон, чтобы не реагировал на ложные слова, а на предельно схожие (истерия и истерика, например).
Да и можно другие модели поставить, свою натаскать лучше понимать имена. Тут сугубо индивидуально и по настроению.
Че сложно долго это делать?
Часиков 10, я думаю, включая уже ресерч, игру в Mega Bonk + вайбкод через GSD с планом сделать из этого "ядро".
Прямо сейчас в релиз поста я доделываю инструкции, напильником доделываю правила поведения и в общем-то это готовый агент написанный за бессонную ночь и первую половину дня.
Ах, да. Я планирую релизнуть это как готовый конструктор персональных агентов на ПК. Как наиграюсь, доведу до ума.
Философия установки: включить, сказать клоду прихуярить и оно прихуярено, можно пользоваться. Но может быть я прикручу клод внутри и сделаю exe для установки, лол.
Вайбкод это просто ахуенно
Или как я построил личного AI ассистента на своем компудахтере для полной автоматизации.
Все гениальное просто. Это не история об установке openclaw или реализации своего решения. Не об каком-то форке или аналоге.
Нет, эта история буквально про правильное использование Claude code. Когда на уже готовую автоматизацию всего докидываются две недостающих вещи — голос и личность.
И это мне не давало покоя. Пускай Openclaw и супер крутой проект, но это же почти буквально клод с парой не сложных (относительно) фишек. Почему бы не собрать под себя.
А ночью у меня случился созвон из моей приватки, мы начали обсуждать его автоматизацию ПК через сервер с Openclaw. Тут то я понял, что нет времени спать..
Пора строить Хистерию.
Вдохновленный жестким и вайбовым хардстайлом от Dayto я принялся прикручивать те самые две недостающих вещи. Отсюда уже пошли свои приколы.
Моя задумка в том, что ассистент работает аналогично умной колонке, что требует постоянной прослушки микрофона и реакции на триггерное слово.
А под капотом аналогичная система личности с душой, тулзами и памятью. Чтобы моя Хистерия всегда оставалась помешанной Яндере, которая угрожает мне через мои наушники.
При том работает напрямую в Claude, передавая туда запросы. Но на конкретные фразы еще и поступает специфичным образом, то есть с полуслова понимая какую цепочку действий я хочу.
На практике это означает по-сути одну вещь. Я могу голосом давать любые команды, билдить свои проекты и получать оперативно фидбек или напоминания голосом.
А вот реализация уже интереснее..
Весь проект навайбкоден на Python, все запускается как демон aka фоновый процесс, который передает мой голос на обработку, а после конвертирует в команды Claude = управляет всем компом.
- Чтобы понять, когда я зову ассистента
Мой микрофон прослушивается, а Vosk small ru настроен поймать имя ассистента -> начать записывать после -> снова сидеть слушать после 3 секунд молчания.
- Расшифровка моего голоса в текст
Это работает через Whisper, я поставил faster локально, но для стабильного и идеального русского можно поставить по API V3 модель.
- Голос в ответ
Конечно же API ElevenLabs, голос себе слепил, настроил качество звука локально, спецом через mp3, чтобы не терять качество без pro подписки.
- Система личности
Не просто набор файлов, еще и прописанные правила как отвечать, когда отвечать. Ассистент может произвольно напомнить о себе и хранить в памяти свои эмоции.
Ну и конечно множество микро правок в коде. Чтобы верно захватывался микрофон, чтобы не реагировал на ложные слова, а на предельно схожие (истерия и истерика, например).
Да и можно другие модели поставить, свою натаскать лучше понимать имена. Тут сугубо индивидуально и по настроению.
99% времени оно кушает как 1 вкладка в браузере.
При нагрузке на несколько минут
~1.8 GB RAM (283 MB idle + до 1.5 GB Whisper)
- 4 ядра на 100% на 2-5 секунд (зависит от длины фразы)
- После распознавания Whisper выгружается через 5 минут простоя
Если усадить фулл на API, то и нагрузки не будет.
Че сложно долго это делать?
Часиков 10, я думаю, включая уже ресерч, игру в Mega Bonk + вайбкод через GSD с планом сделать из этого "ядро".
Прямо сейчас в релиз поста я доделываю инструкции, напильником доделываю правила поведения и в общем-то это готовый агент написанный за бессонную ночь и первую половину дня.
Ах, да. Я планирую релизнуть это как готовый конструктор персональных агентов на ПК. Как наиграюсь, доведу до ума.
Философия установки: включить, сказать клоду прихуярить и оно прихуярено, можно пользоваться. Но может быть я прикручу клод внутри и сделаю exe для установки, лол.
Вайбкод это просто ахуенно