#ИИ В последнее время активно тестирую ИИ для проверки проектной документации и внедряю этот функционал в SIGNAL DOCS.
Главный вывод: ИИ пока не заменяет эксперта, но уже хорошо его усиливает.
По оценкам экспертов, с которыми я общался, нейронка в лучшем случае находит около 20% тех замечаний, которые находит человек. Но при этом регулярно обнаруживает дополнительные ошибки, которые эксперт пропустил.
И проблема не только в знании нормативки. Большая часть реальных замечаний — это:
противоречия между разными листами и разделами;
несоответствие ТЗ;
нарушение корпоративных стандартов;
несогласованность данных внутри самой документации.
Просто загрузить все СП, ГОСТы, ТЗ и попросить «проверить проект» — не лучший подход, т.к. не влезает в контекстное окно, либо результат полностью зависит от поиска по векторам, в которых сложно учесть приоритетность требований. Гораздо точнее работает серия узких проверок: отдельно ширина коридоров, отдельно лестничные марши, отдельно конкретные требования определенного СП и т.д.
И здесь, кажется, возникает следующий этап развития: вопрос уже не столько «может ли ИИ проверять проектную документацию?», сколько «как организовать такую проверку качественно и при этом потратить минимальное количество токенов?»
Похоже, дальше основная борьба будет уже за архитектуру проверки и стоимость одного найденного замечания.
Главный вывод: ИИ пока не заменяет эксперта, но уже хорошо его усиливает.
По оценкам экспертов, с которыми я общался, нейронка в лучшем случае находит около 20% тех замечаний, которые находит человек. Но при этом регулярно обнаруживает дополнительные ошибки, которые эксперт пропустил.
И проблема не только в знании нормативки. Большая часть реальных замечаний — это:
противоречия между разными листами и разделами;
несоответствие ТЗ;
нарушение корпоративных стандартов;
несогласованность данных внутри самой документации.
Просто загрузить все СП, ГОСТы, ТЗ и попросить «проверить проект» — не лучший подход, т.к. не влезает в контекстное окно, либо результат полностью зависит от поиска по векторам, в которых сложно учесть приоритетность требований. Гораздо точнее работает серия узких проверок: отдельно ширина коридоров, отдельно лестничные марши, отдельно конкретные требования определенного СП и т.д.
И здесь, кажется, возникает следующий этап развития: вопрос уже не столько «может ли ИИ проверять проектную документацию?», сколько «как организовать такую проверку качественно и при этом потратить минимальное количество токенов?»
Похоже, дальше основная борьба будет уже за архитектуру проверки и стоимость одного найденного замечания.