Борщ, пентест и план апгрейда: итоги первых тестов чат-бота, который может за минуту оценить компенсацию за нарушение интеллектуальных прав

Спасибо всем, кто принял участие в краш-тесте бота по интеллектуальной собственности.

Отдельная благодарность Павлу Мищенко за его репост — это дало хороший приток пользователей и помогло выявить больше скрытых багов.

Из забавного: в процессе пентестов одному из пользователей удалось обойти системный промпт и заставить бота выдать пошаговый рецепт борща. Посмеялись, баг отметил.

Но главное — есть крутые результаты на реальной практике. Один из пользователей загрузил тексты трех прошедших судебных споров и бот выдал ровно ту вилку компенсации, которую им в итоге взыскал суд. Ради подобных кейсов бот и разрабатывался.

Что планирую исправить и добавить по итогам тестов:

➡️Защита от промпт-инъекций. Частично уже прикрыл лазейки от любителей кулинарии и других нестандартных запросов.
➡️ Ориентация во времени. Добавлю передачу текущей даты, чтобы бот корректно работал со сроками.
➡️ Чистка базы и настройка чанков. Уберу лишний информационный «шум» из документов, на которых работает модель, а также изменю размеры чанков и их перекрытие. Это касается только ГК РФ: с поиском судебной практики проблем не возникало, так как для нее применялся другой скрипт обработки.
➡️Понимание контекста. Настрою память на продолжение диалога. Чтобы сбросить контекст и задать новый вопрос, нужно будет нажать кнопку «Завершить» или просто исчерпать лимит в 3 уточняющих сообщения.
➡️Для 4 части ГК РФ "установить" гибридную логику поиска (будет искать как по смыслу, так и по совпадению слов). Это необходимо для исключения семантической путаницы между похожими нормами ГК РФ и предотвращения галлюцинаций на несуществующих статьях.
➡️Ограничение запросов. Временно устанавливаю лимит в 10 обращений в сутки от пользователя. Лимиты нужны исключительно для контроля нагрузки. По мере тестов и анализа его работы буду их увеличивать или оставлю такими же.
➡️Перенос на сервер. В «мыслях» разместить бота на сервере, чтобы он работал стабильно и был доступен 24/7.

Впечатление от всего этого: поймал себя на мысли, что сам процесс разработки затягивает. А когда получаешь живой фидбек и видишь, как твой инструмент способен решать (не без багов) реальные задачи — это максимальный кайф. Осторожно, вайбкодинг вызывает зависимость!😄

Ссылка на бота: https://t.me/GetINNinfo_bot