Как понять, что ИТ-система сделана качественно? Список функций и удачная демонстрация на этот вопрос не отвечают. Чат-бот Air Canada работал и отвечал быстро, а авиакомпанию всё равно обязали заплатить за его неверный ответ клиенту.
Я свожу качество ИТ-продукта к девяти критериям, опираясь на международный стандарт ISO/IEC 25010. Они собраны в три вопроса, которые задаёт руководитель.
Вопрос 1: «Работает ли как нужно?» Чтобы ответить на это есть 3 блок.
1. Функциональность: система выполняет намеченные функции
2. Удобство: систему можно освоить её без долгого обучения, комфортно работать и можно быстро получить доступ к нужной информации
3. Точность и её удержание: система работает точно (будь то аналитика и качество работы ИИ) как со старта, так и во времени (например, из-за деградации ИИ-моделей).
Вопрос второй: «Не подведёт ли?». Тут также можно выделить 3 блока.
4. Стабильность и надёжность: система не падает при штатном режиме и быстро восстанавливается после сбоя.
5. Защищённость: есть чёткое разделение прав и доступа к информации
6. Безопасность: система не навредит людям, процессу и оборудованию, её можно остановить.
Вопрос третий: «Во что обойдётся и не станем ли заложниками?». И снова 3 блока
7. Сопровождаемость: с системой может работать и сопровождать ее не только автор
8. Интегрируемость и переносимость: система встраивается в экосистему или интегрируется с другими ИТ-системами
9. Производительность и эффективность: система выдерживает пиковые нагрузки и имеет понятный расход ресурсов.
Порог по каждому критерию задают до старта. Если хотя бы по одному критерию система ниже порога, её не принимают, как бы хорошо она ни выглядела по остальным.
У каждого критерия теперь два слоя ИИ. ИИ помогает проверять любую систему: составляет перечень проверок по ТЗ, разбирает журналы сбоев, ищет уязвимости. А если система сама построена на ИИ, проверка меняется и появляются дополнительные факторы. Например, нужен запасной режим на случай, если модель недоступна. Полномочия агента ограничивают заранее, а необратимые действия подтверждает человек.
В статье разобрал каждый критерий: https://www.chelidze-d.com/post/it-quality-criteria
Я свожу качество ИТ-продукта к девяти критериям, опираясь на международный стандарт ISO/IEC 25010. Они собраны в три вопроса, которые задаёт руководитель.
Вопрос 1: «Работает ли как нужно?» Чтобы ответить на это есть 3 блок.
1. Функциональность: система выполняет намеченные функции
2. Удобство: систему можно освоить её без долгого обучения, комфортно работать и можно быстро получить доступ к нужной информации
3. Точность и её удержание: система работает точно (будь то аналитика и качество работы ИИ) как со старта, так и во времени (например, из-за деградации ИИ-моделей).
Вопрос второй: «Не подведёт ли?». Тут также можно выделить 3 блока.
4. Стабильность и надёжность: система не падает при штатном режиме и быстро восстанавливается после сбоя.
5. Защищённость: есть чёткое разделение прав и доступа к информации
6. Безопасность: система не навредит людям, процессу и оборудованию, её можно остановить.
Вопрос третий: «Во что обойдётся и не станем ли заложниками?». И снова 3 блока
7. Сопровождаемость: с системой может работать и сопровождать ее не только автор
8. Интегрируемость и переносимость: система встраивается в экосистему или интегрируется с другими ИТ-системами
9. Производительность и эффективность: система выдерживает пиковые нагрузки и имеет понятный расход ресурсов.
Порог по каждому критерию задают до старта. Если хотя бы по одному критерию система ниже порога, её не принимают, как бы хорошо она ни выглядела по остальным.
У каждого критерия теперь два слоя ИИ. ИИ помогает проверять любую систему: составляет перечень проверок по ТЗ, разбирает журналы сбоев, ищет уязвимости. А если система сама построена на ИИ, проверка меняется и появляются дополнительные факторы. Например, нужен запасной режим на случай, если модель недоступна. Полномочия агента ограничивают заранее, а необратимые действия подтверждает человек.
В статье разобрал каждый критерий: https://www.chelidze-d.com/post/it-quality-criteria