Чумель репостит и пишет

🌟 MiDashengLM-Gen: генерация комплексных звуковых сцен

Команда MiLM Plus из Xiaomi опенсорснула генератор звука по текстовому описанию, который создаёт целостные аудиосцены из речи, музыки, звуковых эффектов и фоновой акустики окружающей среды.

Под капотом - собственный аудиотокенизатор MiDashengLM-0.6B, построенный по архитектуре DashengTokenizer, и дообученная языковая модель Qwen3-1.7B, работающие в связке с Flow matching на базе DiT.

Данные для обучения из двух источников: первый - приватный суперсет ACAVCaps на 77 тысяч часов с речью, музыкой и эффектами, второй - микс TTS-корпусов Emilia, LibriTTS, LJSpeech, AISHELL-3, WenetSpeech4TTS.

Русский язык модель знает, в речевой части ACAVCaps его доля 4,66%, но основа обучения всё же английский (54%) и китайский (24,5%). В TTS-сетах русского нет вообще, и это видно по качеству (13,19% ошибок против 2,42% на английском).

Управление в промпте задаётся тегами:

 - описание всей сцены;
 - текст для озвучки голосом;
 - тон, эмоции, стиль голоса;
 - звуковые эффекты;
 - описание музыки;
 - окружающая среда.

Указывать нужно все, а если поле неприменимо, туда идёт . У чистой речи, например, заглушки стоят в полях музыки и эффектов.

Смысл в том, чтобы управляющие факторы не слипались друг с другом. Модель видит явное разделение и не пытается вывести стиль говорящего из описания фонового шума.

На выходе - трек в формате WAV с частотой дискретизации 16 кГц. Длина ограничена до 20 секунд, на более длинных таймингах модель не проверяли.

🟡Тесты

Прямых аналогов среди открытых моделей почти нет, поэтому авторы сопоставляют систему с узкоспециализированными по каждой задаче и со своим же предшественником Dasheng AudioGen.

Основная причина для гордости - разборчивость речи. На английском Seed-TTS доля ошибок упала с 12,15% до 2,79%. Мультиязычность тоже подтянулась, но до уровня Qwen3-TTS и Seed-TTS система не дотягивает.

Вин-стрик по эмоциям на CV3-Eval, где эмоция подсказана текстом, - 0,98 радость, 0,96 грусть, 0,92 злость.

По генерации отдельных звуков в AudioCaps система уступает TangoFlux (FAD 5,01 против 2,26).

В планах - клонирование голоса, подтягивание низкоресурсных языков и управление по времени.

📌Лицензирование: Apache 2.0 License



🟡Страница проекта
🟡Веса
🟡Arxiv
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTA #TTS #TTSFX #MiDashengLM #Xiaomi

Полный инженерный курс по AI-агентам на русском: от tool calling до production

Курс инженерный, а не обзорный. Здесь почти нет рассуждений о том, «изменит ли ИИ мир», зато есть: минимальные работающие реализации каждого механизма, лабораторные с критериями приёмки, шаблоны для копирования, чек-листы перед релизом, каталог антипаттернов и набор бенчмарков, по которым можно честно сравнить две версии своего агента.

Качество агента почти никогда не упирается в модель. Оно упирается в инженерию вокруг модели: как описаны инструменты, что попадает в контекст, где стоят проверки, что происходит при третьей подряд ошибке и сколько это стоит за тысячу запусков. Модель - двигатель. Курс -про всё остальное в автомобиле.

https://github.com/justxor/Aiagentsfullcourse

#промптдня

Делаем классную инфографику в ChatGPT!
Нашла полезный промпт на канале @dailyprompts, чтобы сделать инфографику для занятия/выступления/доп.материалов.

Создай вертикальную иллюстрацию высокого уровня в стиле «Cutaway Educational Picture Book» — современной познавательной книги с разрезом. Это должна быть не просто схема или реалистичный атлас, а увлекательная образовательная иллюстрация, одновременно показывающая внешнюю форму объекта, внутреннюю структуру, функциональные зоны, принцип работы и ключевые знания.

Текст на русском языке.

Тема [...]

Автоматическая интерпретация
Самостоятельно выбери лучший способ визуализации темы:

* определи тип объекта;
* выбери главный акцент: структура, функции, принцип работы, потоки, зоны или связи;
* ориентируйся на уровень «понятно детям, интересно взрослым»;
* если строгий разрез не подходит, используй полупрозрачность, локальное сечение, послойное раскрытие или увеличенные фрагменты.

Формат и композиция
Вертикальный формат 3:4.

Главный объект — крупно в центре, с максимально эффективным использованием высоты. Внешний силуэт и внутренняя структура должны читаться одновременно.

Пояснения, стрелки, увеличенные детали и информационные блоки распределить вокруг объекта. Композиция должна быть насыщенной, но ясной, сбалансированной и удобной для чтения на вертикальном экране.

Содержание

* Объект узнаваем с первого взгляда.
* Внутренние структуры и функциональные зоны четко разделены.
* Каждая ключевая область имеет образовательный смысл.
* Показать принцип работы и взаимосвязь частей.
* Допустимы небольшие персонажи или мини-сценки для оживления страницы.
* Используй стрелки, нумерацию, короткие подписи, факты и увеличенные фрагменты.
* Информации много, но без визуального хаоса.

Визуальный стиль
Современная высококачественная детская научно-популярная иллюстрация:

* естественные линии ручной рисовки;
* мягкие книжные контуры;
* яркая, чистая и дружелюбная палитра;
* высокая детализация без перегруженности;
* ясная структура без инженерной жесткости;
* баланс между книжной иллюстрацией и инфографикой;
* современный, свежий, профессиональный вид.

Текстура
Без имитации физической бумаги.

Не использовать:

* бумажную текстуру;
* печатный шум;
* состаривание;
* складки, книжные швы;
* сильную зернистость;
* желтый оттенок старой книги.

Изображение должно выглядеть как современная цифровая страница научно-популярной книги.

Текст и разметка
Короткие русские подписи и пояснения должны органично интегрироваться в композицию и помогать пониманию, не закрывая основной объект.

Цвет
Цвета подбирай автоматически под тему:
яркие, мягкие, чистые, с четким разделением слоев и умеренными акцентами.

Не создавать

* реалистичный медицинский атлас;
* промышленный чертеж;
* примитивную детскую картинку;
* декоративный постер без объяснения;
* хаотичную инфографику;
* киберпанк-интерфейс;
* эстетику старой или отсканированной книги.

Цель
Создать красивую, детализированную и легко читаемую страницу современной научно-популярной книги, которая одновременно объясняет устройство и принцип работы сердца и вызывает желание долго рассматривать детали

Вот такие инфографики у меня получились по темам Как устроена система высшего образования в России и Что такое конструктивная обратная связь.

DeepSeek Harness

DeepSeek официально выложили DeepSeek Harness (dsh) - свой open-source харнесс для AI-агентов.
Главная идея у них буквально «everything is a plugin»: модель, инструменты, skills, сессии, sandbox, политика разрешений, хранение данных и даже интерфейс собираются как плагины. По сути это собственный аналог инфраструктурного слоя вокруг Claude Code / OpenCode / Codex-подобных агентов.
Причем Harness напрямую связан с новыми DeepSeek V4. В официальной документации DeepSeek указано, что V4-Flash на coding/agent-бенчмарках тестировали именно через DeepSeek Harness в minimal mode, с max reasoning effort, top_p=0.95, temperature=1.0. Результаты у V4-Flash заявлены приличные: Terminal Bench 2.1 - 82.7, DeepSWE - 54.4, Toolathlon Verified - 70.3, DSBench-FullStack - 68.7.

Уже можно запускать локально:
npx @deepseek-ai/dsh web
После этого поднимается Web UI на 127.0.0.1:3080. Есть и headless-режим, sandbox, shell/terminal tools, persistence, credentials, approval policy и возможность подключать другие модели через плагины. Пока статус Developer Preview.

Одновременно выкатили V4 Pro из превью под лицензией MIT

https://github.com/deepseek-ai/deepseek-harness

https://github.com/cordiverse/paper

Тут DeepSeek V4 Pro 0813

А почему такая странная фотка из отпуска в заголовке?
А просто эта странная шняга на поясе тоже называется harness (трапеция)...

@cgevent

Проблемы с экранным временем детей вышли на новый уровень.

Я бы даже не ругала в этом случае, а восхитилась находчивостью.

AC DC снова в моде

Highway to Hell петь начинать не надо!

1.
AC DC клевый термин от ребят из Sonar.
Agentic Centric Developer Cycle.
2.
И казалось бы ну какие статические анализаторы кода в век победившего AI, однако всякая инфраструктура базовая становится все важнее и критичнее.
3.
Ребята из Sonar предлагают любопытную мысль - нафиг проверять код агента только после того, как он закончил весь PR и отдал его на ревью. Они предлагают ревьюить код в процессе его написания, тем самым повышая его качество еще до того, как агент закончит свою работу.

Почему именно так?
4.
Тут все просто: количество кода, генерируе ого после взрывного роста AI растет х2, но люди не могут ревьюить с той же скоростью и становятся узки горлышком.
В ответ на это, мы предлагаем ревьюить код, используя других агентов.
Прикольно?
5.
Да, но в таком случае получается слишком длинный «хоп» и с учетом роста стоимости использования агентов мы начинаем тратить больше времени и ресурсов на исправление.

Как решение, нам и предлагается инкрементально улучшать код прямо в процессе его написания.

А вот ссылочка на оригинал доклада

✔️ Liquid AI выпустила локального агента, который работает на телефоне

LFM2.5-2.6B - компактная агентная модель на 2,6 млрд параметров. Она умеет планировать действия, вызывать инструменты и выполнять многошаговые задачи полностью на устройстве, без облачного API.

Модель обучили примерно на 34 трлн токенов, расширили словарь до 128 тысяч токенов и добавили контекст 128K.

Особенно интересно устроено дообучение:

- отдельные модели-эксперты усиливали математику, код, tool use и длинный контекст;
- затем их навыки перенесли в одну модель через on-policy distillation;
- финальный этап прошёл внутри реальных агентных сред, включая Hermes Agent и OpenClaw.

По тестам Liquid AI, модель выдаёт:

- до 220 токенов/с на Apple M5 Max;
- до 113 токенов/с на Ryzen AI Max+ 395;
- около 30 токенов/с на смартфоне;
- почти 15 000 выходных токенов/с на одной H100 при высокой параллельной нагрузке.

При этом потребление памяти на CPU остаётся ниже 2,5 ГБ.

В бенчмарках LFM2.5-2.6B обходит более крупные Gemma и Qwen в ряде задач на следование инструкциям и использование инструментов. В сложном программировании большие модели пока сохраняют преимущество.

Есть поддержка llama.cpp, MLX, vLLM, SGLang и ONNX. Доступны базовая и дообученная open-weight версии.

Источник:
https://www.liquid.ai/blog/lfm2-5-2-6b

#LiquidAI #opensource

@ai_machinelearning_big_data