〰 Нейрорепортинг Claude + MCP и технологические тренды в IT
Продолжаю погружаться в Generative BI (GenBI) и эксперименты с подключением нейросетей к базам данных. В VILKY (анализ IT вакансий) пробуем строить PDF и HTML-репорты при помощи AI+MCP и отправлять их в tg-канал. Такой формат мы назвали «нейрорепортинг». Расскажу про опыт построения HTML c графиками.
Последний эксперимент - анализ технологических трендов в IT за 11 лет на базе 127000+ вакансий Habr Career (2015–2025).
Как это выглядело
Промт:
В навыках - только харды: языки программирования, инструменты, библиотеки и т.п.. Claude cразу сделал в HTML:
〰 Cделал 10 SQL-запросов для изучения структуры таблицы и запуска анализа.
〰 Сравнил частотность навыков в начале периода (2015–2018) и в конце (2021–2024).
〰 Ввел коэффициенты (0.3; 0.6) для "устаревших" и "устаревающих" навыков.
〰 Построил топ устаревающих и топ растущих навыков.
Следующий шаг:
Добавил поправку на общее число вакансий по годам → ещё 7 SQL-запросов. Появилось новое понятие - "глубина проникновения навыка" (отношение числа вакансий с этим скиллом к общему числу вакансий).
Дальше подключили поиск навыков в описаниях - цифры слегка скорректировались.
〰 Проблемы с отчётом
Сам анализ работает, но при оформлении HTML оказалось всё сложнее:
🟢 отчёт может отрисоваться некорректно,
🟢 графики ломаются или все линии делает одного цвета,
🟢 порядок блоков меняется,
🟢 добавление мелочей рушит готовый HTML.
В какой-то момент даже закончилось контекстное окно у Claude 〰
Выводы
🟢 За логикой SQL-запросов надо следить и исправлять, если неточно.
🟢 Нужны шаблоны отчётов, если хотим одинаковый формат.
🟢 Лучше сразу формулировать большой промт с точными требованиями к структуре.
🟢 Анализ на большом массиве данных будет всегда поверхностным.
🟢 С визуализацией пока много ограничений.
🟢 Для продовых дашбордов подход ещё сырой, но для ad-hoc исследований уже работает.
🟢 Проверять выводы надо обязательно.
В итоге, последнюю версию HTML можно найти в комментариях. Как получилось с первой попытки 〰.
PDF-репорт тоже в комментариях, делал в другом чате.
Можете оценить что вышло.
В конце Claude гордо подписал отчёт:
"Исследование провел AI-аналитик Claude"
Спасибо ему за это!
@data_bar
Продолжаю погружаться в Generative BI (GenBI) и эксперименты с подключением нейросетей к базам данных. В VILKY (анализ IT вакансий) пробуем строить PDF и HTML-репорты при помощи AI+MCP и отправлять их в tg-канал. Такой формат мы назвали «нейрорепортинг». Расскажу про опыт построения HTML c графиками.
Последний эксперимент - анализ технологических трендов в IT за 11 лет на базе 127000+ вакансий Habr Career (2015–2025).
Как это выглядело
Промт:
Подключись к базе данных вакансий по MCP, таблица vacancies_habr и проведи анализ того какие навыки (skills) устарели а какие выросли.
В навыках - только харды: языки программирования, инструменты, библиотеки и т.п.. Claude cразу сделал в HTML:
〰 Cделал 10 SQL-запросов для изучения структуры таблицы и запуска анализа.
〰 Сравнил частотность навыков в начале периода (2015–2018) и в конце (2021–2024).
〰 Ввел коэффициенты (0.3; 0.6) для "устаревших" и "устаревающих" навыков.
〰 Построил топ устаревающих и топ растущих навыков.
Следующий шаг:
Добавил поправку на общее число вакансий по годам → ещё 7 SQL-запросов. Появилось новое понятие - "глубина проникновения навыка" (отношение числа вакансий с этим скиллом к общему числу вакансий).
Дальше подключили поиск навыков в описаниях - цифры слегка скорректировались.
〰 Проблемы с отчётом
Сам анализ работает, но при оформлении HTML оказалось всё сложнее:
🟢 отчёт может отрисоваться некорректно,
🟢 графики ломаются или все линии делает одного цвета,
🟢 порядок блоков меняется,
🟢 добавление мелочей рушит готовый HTML.
В какой-то момент даже закончилось контекстное окно у Claude 〰
Выводы
🟢 За логикой SQL-запросов надо следить и исправлять, если неточно.
🟢 Нужны шаблоны отчётов, если хотим одинаковый формат.
🟢 Лучше сразу формулировать большой промт с точными требованиями к структуре.
🟢 Анализ на большом массиве данных будет всегда поверхностным.
🟢 С визуализацией пока много ограничений.
🟢 Для продовых дашбордов подход ещё сырой, но для ad-hoc исследований уже работает.
🟢 Проверять выводы надо обязательно.
В итоге, последнюю версию HTML можно найти в комментариях. Как получилось с первой попытки 〰.
PDF-репорт тоже в комментариях, делал в другом чате.
Можете оценить что вышло.
В конце Claude гордо подписал отчёт:
"Исследование провел AI-аналитик Claude"
Спасибо ему за это!
@data_bar