Тихий клиент на АЗС: как собрать сессию обслуживания из штатных камер и микрофонов
Представьте: сотни АЗС, а глазами человека проверяют пару процентов смен. Всё остальное — тёмный лес. Клиент захотел заглянуть именно туда, причём без единой новой камеры или микрофона — работаем с тем, что уже висит.
И тут классика жанра: кассир вещает громко и развёрнуто, а клиент бурчит что-то себе под нос или вообще молча кивает. Прогоняешь через ASR — и получаешь бодрый монолог кассира с дырами вместо ответов. Одного аудио мало: «здравствуйте» звучит, а к кому оно относится, если у кассы толпа, — непонятно. Одного видео тоже мало: видно, что человек постоял 40 секунд, а предложили ему кофе или нет — тишина.
Решение — склеить обе модальности. Видео держит сцену и роли, аудио — сам разговор, а сессия собирается после синхронизации. Видеомодуль делит людей на четыре роли (клиент, кассир, стажёр, заправщик) и цепко держит ID, чтобы одна сессия не развалилась на две, когда клиента на секунду закрыла витрина. Плюс зональный гейтинг, чтобы случайный прохожий не открывал сессию своим присутствием.
😎 — двумодалка спасает
🤷 — а без этого никак?
Источник: habr.com
@ai_for_dev
Представьте: сотни АЗС, а глазами человека проверяют пару процентов смен. Всё остальное — тёмный лес. Клиент захотел заглянуть именно туда, причём без единой новой камеры или микрофона — работаем с тем, что уже висит.
И тут классика жанра: кассир вещает громко и развёрнуто, а клиент бурчит что-то себе под нос или вообще молча кивает. Прогоняешь через ASR — и получаешь бодрый монолог кассира с дырами вместо ответов. Одного аудио мало: «здравствуйте» звучит, а к кому оно относится, если у кассы толпа, — непонятно. Одного видео тоже мало: видно, что человек постоял 40 секунд, а предложили ему кофе или нет — тишина.
Решение — склеить обе модальности. Видео держит сцену и роли, аудио — сам разговор, а сессия собирается после синхронизации. Видеомодуль делит людей на четыре роли (клиент, кассир, стажёр, заправщик) и цепко держит ID, чтобы одна сессия не развалилась на две, когда клиента на секунду закрыла витрина. Плюс зональный гейтинг, чтобы случайный прохожий не открывал сессию своим присутствием.
😎 — двумодалка спасает
🤷 — а без этого никак?
Источник: habr.com
@ai_for_dev