В перерывах между садово-ландшафтными работами после долгой зимы небольшой вайб-кодинговый заводик родил то, до чего долго не доходили руки: наведён идеальный порядок в процессе пополнения данными всех рекламных проектов!
#RAG_expansion, да не простой, а золотой, ведь налилось во все три кружечки: в датасете (ссылка 1 и ссылка 2) и поисковике 7770 дел, под ботом 2014, охват до мая 2026 года. Свежак!
Но не это главное, главное, что теперь собран процесс, с которым невозможно больше будет прокрастинировать, и пополнения будут такими регулярными, что я вряд ли буду теперь о них сообщать в канале. Что поменялось:
🤩 Было: три разрозненных csv-таблицы, с разным набором колонок с разным регистром
Стало: одна каноническая мастер-SQLite база, из которой деривативно собираются три артефакта для каждого проекта
🤩Было: Jupyter-ноутбук на ~30 ячеек (описанный здесь) с хаотичным логированием по 5 разным файлам, не переживающий обрывы соединения бесследно, совершенно неудобный в работе
Стало: Python-пакет с CLI на Typer (это означает, что к программе можно обращаться через терминал комплексными командами (типа deploy --target search --dry-run), которые библиотека Typer сама разбирает на последовательность команд). Это сделано с прицелом на работу агента-ассистента в недалеком, надеюсь, будущем
🤩Было: разбор дел под бот глазами в numbers-таблице с ручным копипастом в основную таблицу, куча каких-то папок и файлов, в которые было больно смотреть
Стало: прекрасный понятный интерфейс, где каждая операция в пайплайне в своем окошке, для каждой сессии любой операции — тоже свое окошко, удобная среда для грейдинга, ещё и всё по стайл-гайду. Приглашаю к любованию на скриншотах!
И ещё масса всяких мелких и не очень изменений, которым я обязана Claude Code CLI. Не обошлось и без приколов: например, агент, делая тесты, из-за ряда мелких ошибок без разрешения задеплоил файл с RAGом для бота. Этого не надо было делать до того, как был бы обновлён код бота, чтобы правильно этот файл прочитать, из-за чего сервер с ботом упал. На это Клод стал отнекиваться, рассказывать, что у него (неё) алиби, и вообще это наверняка ты (я) сама сделала. Но с кем не бывает, было проведено расследование, всё выяснили и всё быстро починили.
Короче, вот такое радостное у меня событие. На фоне всего этого появились всякие новые идеи и планы, как сделать бота получше, которые к его годовщине в конце июля скорее всего получится реализовать.
Желаю всем прекрасного остатка майских праздников!
#RAG_expansion, да не простой, а золотой, ведь налилось во все три кружечки: в датасете (ссылка 1 и ссылка 2) и поисковике 7770 дел, под ботом 2014, охват до мая 2026 года. Свежак!
Но не это главное, главное, что теперь собран процесс, с которым невозможно больше будет прокрастинировать, и пополнения будут такими регулярными, что я вряд ли буду теперь о них сообщать в канале. Что поменялось:
🤩 Было: три разрозненных csv-таблицы, с разным набором колонок с разным регистром
Стало: одна каноническая мастер-SQLite база, из которой деривативно собираются три артефакта для каждого проекта
🤩Было: Jupyter-ноутбук на ~30 ячеек (описанный здесь) с хаотичным логированием по 5 разным файлам, не переживающий обрывы соединения бесследно, совершенно неудобный в работе
Стало: Python-пакет с CLI на Typer (это означает, что к программе можно обращаться через терминал комплексными командами (типа deploy --target search --dry-run), которые библиотека Typer сама разбирает на последовательность команд). Это сделано с прицелом на работу агента-ассистента в недалеком, надеюсь, будущем
🤩Было: разбор дел под бот глазами в numbers-таблице с ручным копипастом в основную таблицу, куча каких-то папок и файлов, в которые было больно смотреть
Стало: прекрасный понятный интерфейс, где каждая операция в пайплайне в своем окошке, для каждой сессии любой операции — тоже свое окошко, удобная среда для грейдинга, ещё и всё по стайл-гайду. Приглашаю к любованию на скриншотах!
И ещё масса всяких мелких и не очень изменений, которым я обязана Claude Code CLI. Не обошлось и без приколов: например, агент, делая тесты, из-за ряда мелких ошибок без разрешения задеплоил файл с RAGом для бота. Этого не надо было делать до того, как был бы обновлён код бота, чтобы правильно этот файл прочитать, из-за чего сервер с ботом упал. На это Клод стал отнекиваться, рассказывать, что у него (неё) алиби, и вообще это наверняка ты (я) сама сделала. Но с кем не бывает, было проведено расследование, всё выяснили и всё быстро починили.
Короче, вот такое радостное у меня событие. На фоне всего этого появились всякие новые идеи и планы, как сделать бота получше, которые к его годовщине в конце июля скорее всего получится реализовать.
Желаю всем прекрасного остатка майских праздников!