▶️ 200 OK от гейтвея ничего не значит

Мониторинг зеленый, алертов нет, а модель упорно не отвечает пользователям. Кто узнает о проблеме первым? Правильно, поддержка.

Все потому, что обычная HTTP-проверка до модели не доходит: гейтвей отвечает 200 OK, даже когда модель снята с обслуживания или уперлась в лимиты.

Как устроен новый тип проверки AI-моделей, разобрал Миша Шпаков, наш руководитель разработки. Решение простое: вместо пинга эндпоинта — настоящий запрос к модели и проверка ответа.

Ждем еще одну статью от Миши? 

🍾 — конечно
⚡️ — безусловно