Для меня в работе с ИИ самой большой проблемой было найти её ошибки, которые возникли из-за галлюцинаций нейронки.
Я думаю, это большая проблема для всех, кто разрабатывает приложения любых сложностей — ИИ что-то навайбкодила, а оно не работает.
Вспоминаются часы и дни, потраченные на перебор таблеток для решения этих проблем, которые часто были в формате "я думаю, что это поможет". С 10-ой попытки обычно что-то решалось.
Проблема осложнялась тем, что я сам код писать не умею. Я хотел бы, но столько времени потратить на изучение кода и поддерживать знаний up-to-date был не готов.
Дополнял этот кошмар и сам ИИ, который и таблетки предлагал после своих галлюцинаций. Он думал, что сработает так, вот так. Короче, чувак, попробуем всё, глядишь и заработает.
Такой подход, конечно, не позволяет работать быстро и достигать нужных результатов с минимумом ошибок.
Чтобы решить эту проблему пришлось вспоминать, что я юрист. К нам тоже приходят люди со своими галлюционациями о том, как и что было, стало, как это починить.
Чтобы разобраться мы разделяем кейсы на сухие факты, которые имели место быть и которые подтверждаются объективными данными. После этого для доказывания влияния фактов на причинно-следственную связь мы применяем стандарты доказывания. Есть разные, но для работы в разработке подходит только один стандарт, из уголовного права — вне разумных сомнений. Это когда вы на 2000% можете утверждать, что А украл буханку из магазина Б и продал покупателю С. Стандарт, где нет места сомнениям.
И я потребовал от ИИ проводить расследования со сбором фактов без оценки и проведения аналитики в режиме вне разумных сомнений с подтверждением того, что так оно и есть.
Теперь разбор проблем у меня занимает ровно 2 действия: (1) проведи расследование кейса А и (2) напиши план исправления ошибок на базе протокола расследования.
Таким довольно неочевидным способом качество работы ИИ над ошибками взлетело до небес.
Я думаю, это большая проблема для всех, кто разрабатывает приложения любых сложностей — ИИ что-то навайбкодила, а оно не работает.
Вспоминаются часы и дни, потраченные на перебор таблеток для решения этих проблем, которые часто были в формате "я думаю, что это поможет". С 10-ой попытки обычно что-то решалось.
Проблема осложнялась тем, что я сам код писать не умею. Я хотел бы, но столько времени потратить на изучение кода и поддерживать знаний up-to-date был не готов.
Дополнял этот кошмар и сам ИИ, который и таблетки предлагал после своих галлюцинаций. Он думал, что сработает так, вот так. Короче, чувак, попробуем всё, глядишь и заработает.
Такой подход, конечно, не позволяет работать быстро и достигать нужных результатов с минимумом ошибок.
Чтобы решить эту проблему пришлось вспоминать, что я юрист. К нам тоже приходят люди со своими галлюционациями о том, как и что было, стало, как это починить.
Чтобы разобраться мы разделяем кейсы на сухие факты, которые имели место быть и которые подтверждаются объективными данными. После этого для доказывания влияния фактов на причинно-следственную связь мы применяем стандарты доказывания. Есть разные, но для работы в разработке подходит только один стандарт, из уголовного права — вне разумных сомнений. Это когда вы на 2000% можете утверждать, что А украл буханку из магазина Б и продал покупателю С. Стандарт, где нет места сомнениям.
И я потребовал от ИИ проводить расследования со сбором фактов без оценки и проведения аналитики в режиме вне разумных сомнений с подтверждением того, что так оно и есть.
Теперь разбор проблем у меня занимает ровно 2 действия: (1) проведи расследование кейса А и (2) напиши план исправления ошибок на базе протокола расследования.
Таким довольно неочевидным способом качество работы ИИ над ошибками взлетело до небес.