Почему Сlaude Code пока что НЕ сделает за вас аналитику🤯
(или сделает, но сначала предстоит много работы людей)
Не потому что прямо не может сделать стандартные адхоки и графики — уже может. Но я вижу как минимум три препятствия на разных уровнях, которые надо преодолеть, и это непросто:
1️⃣ На уровне всей компании (а то и страны): политики по безопасности обработки данных🤵
Это надо понять и принять — не везде разрешат «сливать» реальные данные в нейронку, тем более зарубежную. Если там есть персональные данные, а не просто значения метрик и захешированные айди, то это зачастую просто нелегально.
Но во многих местах пока что этим не ограничивается, и, допустим, структура DWH cчитается тоже NDA, то есть SQL-запросы и ETL-скрипты не получится просто отправить в ChatGPT, чтобы она что-то исправила или поменяла, если там реальные названия полей. Видела разные способы выкрутиться, в том числе скрипт для переименования полей таблиц😂
Если же таких запретов нет, то это большой плюс, можно создать скилл с описанием данных или даже настроить MCP.
2️⃣ На уровне дата-отдела: качество и структура данных👍
Недавно Anthropic выпустил статью о том, как они сами настраивали у себя self-service аналитику при помощи Claude. Утверждается, что у них автоматизировано 95% запросов с точностью ~95%, и аналитики теперь могут фокусироваться на менее рутинных задачах, связанных с ML и прогнозированием.
В статье есть интересная табличка о том, чем отличаются разработка и аналитика — в аналитике часто есть единственный правильный способ что-то посчитать, но он упирается в особенности того, как определены поля, и какую конкретно метрику мы хотим вычислить (например, просто revenue в разговоре может означать и ARPU, и ARPPU, и AdRev...)
Кроме того, код можно тестировать, а в аналитике мы можем тестировать свежесть, уникальность, долю null и даже часть логики витрин, но гораздо сложнее проверить, что адхок-запрос правильно отвечает именно на изначальную задачу от бизнеса. Это делает задачу написания запроса на 10 строк порой более сложной для агента, чем внедрение функции в код.
Для того, чтобы это было не так, должна быть проделана большая работа по актуализации и документации всех источников данных. В целом это хорошая идея, но это огромная инвестиция ресурсов — очень много где сейчас принято жить с легаси в DWH, необязательной документацией и опорой на знания аналитиков по направлениям о точной семантике полей и других нюансах. Кроме того, эта работа не разовая, а должна потом продолжаться по мере появления новых витрин.
3️⃣ На уровне аналитика: повышенный контроль качества👀
Заметьте, даже у Anthropic ни покрытие запросов Claude, ни качество результата не 100%, а «всего лишь» 95%. И мне кажется, что это даже опасная по-своему ситуация, потому что если в 19 из 20 случаев ИИ отрабатывает чётко, уже не так хочется делать двойную работу по дотошной перепроверке написанного, а значит проворонить тот самый 20ый кейс становится всё проще. Особенно, когда код в целом красивый, а ты сам его не писал, чтобы знать, куда смотреть пристальнее.
Тем не менее, тут я оптимистично настроена — дурацкие ошибки в запросах вроде не того джойна или ошибок с комбинациями and и or в фильтрах были с нами всегда, и тут изначальный риск их допущения при адекватном ТЗ скорее уменьшается. Кроме того, можно просить ИИ генерировать код покороче, чтобы его реально было вычитать, или поручать для начала куски запроса, а потом их соединять. В целом я уже пробую просить у Сlaude Code запросы для проверки данных, которые получились, и иногда получаю что-то дельное🧡
➡️ Итого, реалистичные варианты — это либо компания с очень продвинутым руководством, которая видит внедрение ИИ не как способ сделать одновременно быстро, дёшево и хорошо, а как неизбежный путь, в который сначала нужно инвестировать немалые ресурсы (подготовка данных, обучение сотрудников контролю качества и вопросам безопасности агентов)😎
Либо сотрудник в обычной компании, который оптимизирует часть лично своей работы с помощью нейронок, но ограничен политиками по безопасности в том, что может ей доверить🌟
➡️ А вы на какой стадии и что по этому поводу думаете?😺
#хардов_пост #развитие_ии
@analytess 👩
(или сделает, но сначала предстоит много работы людей)
Не потому что прямо не может сделать стандартные адхоки и графики — уже может. Но я вижу как минимум три препятствия на разных уровнях, которые надо преодолеть, и это непросто:
1️⃣ На уровне всей компании (а то и страны): политики по безопасности обработки данных🤵
Это надо понять и принять — не везде разрешат «сливать» реальные данные в нейронку, тем более зарубежную. Если там есть персональные данные, а не просто значения метрик и захешированные айди, то это зачастую просто нелегально.
Но во многих местах пока что этим не ограничивается, и, допустим, структура DWH cчитается тоже NDA, то есть SQL-запросы и ETL-скрипты не получится просто отправить в ChatGPT, чтобы она что-то исправила или поменяла, если там реальные названия полей. Видела разные способы выкрутиться, в том числе скрипт для переименования полей таблиц😂
Если же таких запретов нет, то это большой плюс, можно создать скилл с описанием данных или даже настроить MCP.
2️⃣ На уровне дата-отдела: качество и структура данных👍
Недавно Anthropic выпустил статью о том, как они сами настраивали у себя self-service аналитику при помощи Claude. Утверждается, что у них автоматизировано 95% запросов с точностью ~95%, и аналитики теперь могут фокусироваться на менее рутинных задачах, связанных с ML и прогнозированием.
В статье есть интересная табличка о том, чем отличаются разработка и аналитика — в аналитике часто есть единственный правильный способ что-то посчитать, но он упирается в особенности того, как определены поля, и какую конкретно метрику мы хотим вычислить (например, просто revenue в разговоре может означать и ARPU, и ARPPU, и AdRev...)
Кроме того, код можно тестировать, а в аналитике мы можем тестировать свежесть, уникальность, долю null и даже часть логики витрин, но гораздо сложнее проверить, что адхок-запрос правильно отвечает именно на изначальную задачу от бизнеса. Это делает задачу написания запроса на 10 строк порой более сложной для агента, чем внедрение функции в код.
Для того, чтобы это было не так, должна быть проделана большая работа по актуализации и документации всех источников данных. В целом это хорошая идея, но это огромная инвестиция ресурсов — очень много где сейчас принято жить с легаси в DWH, необязательной документацией и опорой на знания аналитиков по направлениям о точной семантике полей и других нюансах. Кроме того, эта работа не разовая, а должна потом продолжаться по мере появления новых витрин.
3️⃣ На уровне аналитика: повышенный контроль качества👀
Заметьте, даже у Anthropic ни покрытие запросов Claude, ни качество результата не 100%, а «всего лишь» 95%. И мне кажется, что это даже опасная по-своему ситуация, потому что если в 19 из 20 случаев ИИ отрабатывает чётко, уже не так хочется делать двойную работу по дотошной перепроверке написанного, а значит проворонить тот самый 20ый кейс становится всё проще. Особенно, когда код в целом красивый, а ты сам его не писал, чтобы знать, куда смотреть пристальнее.
Тем не менее, тут я оптимистично настроена — дурацкие ошибки в запросах вроде не того джойна или ошибок с комбинациями and и or в фильтрах были с нами всегда, и тут изначальный риск их допущения при адекватном ТЗ скорее уменьшается. Кроме того, можно просить ИИ генерировать код покороче, чтобы его реально было вычитать, или поручать для начала куски запроса, а потом их соединять. В целом я уже пробую просить у Сlaude Code запросы для проверки данных, которые получились, и иногда получаю что-то дельное🧡
➡️ Итого, реалистичные варианты — это либо компания с очень продвинутым руководством, которая видит внедрение ИИ не как способ сделать одновременно быстро, дёшево и хорошо, а как неизбежный путь, в который сначала нужно инвестировать немалые ресурсы (подготовка данных, обучение сотрудников контролю качества и вопросам безопасности агентов)😎
Либо сотрудник в обычной компании, который оптимизирует часть лично своей работы с помощью нейронок, но ограничен политиками по безопасности в том, что может ей доверить🌟
➡️ А вы на какой стадии и что по этому поводу думаете?😺
#хардов_пост #развитие_ии
@analytess 👩