GigaAM возглавила рейтинг 11 движков и режимов распознавания русскоязычной речи
Мы в RetailCRM транскрибируем звонки с AI-обработкой. Впереди офлайн: торговые залы, переговорные комнаты, живые встречи. Сейчас проводим тесты движков распознавания речи, хочу поделиться с вами цифрами.
Прогнали 491 запись спонтанной русской речи — 177 минут звука. Итоговый рейтинг построили на общей базе: 488 записей, которые обработали все режимы, и 20 901 слово в эталонах. Основная метрика — микро-WER: сумма замен, пропусков и вставок, делённая на число слов эталона. Меньше — лучше.
Рейтинг топ-5 по микро-WER:
1. GigaAM v3, локальный пакетный — 7,46%
2. GPT Realtime, потоковый — 8,52%
3. faster-whisper, локальный пакетный — 9,78%
4. OpenAI whisper-1, пакетный — 9,82%
5. Deepgram, пакетный — 9,90%
Остальные шесть движков и режимов показали от 10,86% до 18,12%. Полный рейтинг тут.
GigaAM на первом месте. Это открытая модель, которую можно запустить на своём сервере. На этом корпусе её микро-WER на 12,4% ниже результата GPT Realtime. Второе, третье, четвёртое и пятое места разделяют всего 0,12 процентного пункта. Это один корпус коротких спонтанных монологов, поэтому результаты нельзя автоматически переносить на звонки и встречи. Диаризацию здесь тоже не измеряли.
Если сравнить пакетный / потоковый:
Deepgram — 9,90% / 11,87%
Yandex — 11,80% / 13,04%
Sber — 11,06% / 10,86%
Режим обработки меняет результат сильнее, чем кажется. Например, у Sber пакетный режим показал 11,06%, а потоковый — 10,86%. Поэтому один и тот же провайдер в полном рейтинге встречается дважды. Готовые записи и живой поток оцениваются отдельно.
Полная прозрачность данных исследования: каждую из 491 записи можно послушать, рядом прочитать эталон, сравнить ответы всех 11 движков и режимов и увидеть конкретные замены, пропуски и вставки.
Мы опубликовали результаты, исходные ответы движков, сводные таблицы, отчёты, состав корпуса и контрольные суммы. Рейтинг можно проверить собственными ушами и даже пересчитать)
Дальше в планах замер на 600 реальных встречах и звонках, затем отдельная оценка диаризации: кто и когда говорил.
Буквально вчера OpenAI выпустила новые модели — GPT Transcribe и GPT Live Transcribe. Заявлено серьёзное снижение ошибок, разберём их в следующем посте.
Статья с методикой и полным рейтингом
Прослушать записи и сравнить ответы движков
Мы в RetailCRM транскрибируем звонки с AI-обработкой. Впереди офлайн: торговые залы, переговорные комнаты, живые встречи. Сейчас проводим тесты движков распознавания речи, хочу поделиться с вами цифрами.
Прогнали 491 запись спонтанной русской речи — 177 минут звука. Итоговый рейтинг построили на общей базе: 488 записей, которые обработали все режимы, и 20 901 слово в эталонах. Основная метрика — микро-WER: сумма замен, пропусков и вставок, делённая на число слов эталона. Меньше — лучше.
Рейтинг топ-5 по микро-WER:
1. GigaAM v3, локальный пакетный — 7,46%
2. GPT Realtime, потоковый — 8,52%
3. faster-whisper, локальный пакетный — 9,78%
4. OpenAI whisper-1, пакетный — 9,82%
5. Deepgram, пакетный — 9,90%
Остальные шесть движков и режимов показали от 10,86% до 18,12%. Полный рейтинг тут.
GigaAM на первом месте. Это открытая модель, которую можно запустить на своём сервере. На этом корпусе её микро-WER на 12,4% ниже результата GPT Realtime. Второе, третье, четвёртое и пятое места разделяют всего 0,12 процентного пункта. Это один корпус коротких спонтанных монологов, поэтому результаты нельзя автоматически переносить на звонки и встречи. Диаризацию здесь тоже не измеряли.
Если сравнить пакетный / потоковый:
Deepgram — 9,90% / 11,87%
Yandex — 11,80% / 13,04%
Sber — 11,06% / 10,86%
Режим обработки меняет результат сильнее, чем кажется. Например, у Sber пакетный режим показал 11,06%, а потоковый — 10,86%. Поэтому один и тот же провайдер в полном рейтинге встречается дважды. Готовые записи и живой поток оцениваются отдельно.
Полная прозрачность данных исследования: каждую из 491 записи можно послушать, рядом прочитать эталон, сравнить ответы всех 11 движков и режимов и увидеть конкретные замены, пропуски и вставки.
Мы опубликовали результаты, исходные ответы движков, сводные таблицы, отчёты, состав корпуса и контрольные суммы. Рейтинг можно проверить собственными ушами и даже пересчитать)
Дальше в планах замер на 600 реальных встречах и звонках, затем отдельная оценка диаризации: кто и когда говорил.
Буквально вчера OpenAI выпустила новые модели — GPT Transcribe и GPT Live Transcribe. Заявлено серьёзное снижение ошибок, разберём их в следующем посте.
Статья с методикой и полным рейтингом
Прослушать записи и сравнить ответы движков