Тимлидское об аналитике


Гео и язык канала: Россия, Русский
Категория: Технологии


Мысли, идеи, озарения и советы от тимлида дата-аналитики Яндекс.eLama.

Связанные каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Приветствую, любители аналитики!

Продолжаю обновлять Справочник дата-специалиста и сегодня у нас выкатывается новая категория.

Итак, дамы и господа, поприветствуем на сцене — средства визуализации данных!

В этот класс инструментов пока вошли в основном BI-системы, но, полагаю, туда же буду добавлять и всякое другое, например, различные библиотеки питона и других языков, любимых аналитиками.

Заглядывайте!


Приветствую, любители аналитики!

Весной я разработал курс "Временные ряды".

В программу вошли основные понятия (компоненты ряда, свойства и инструменты их анализа) и методы изучения рядов — разные модели прогнозирования, фильтрации, определения корреляционной структуры.
Я постарался на пальцах пояснить математический аппарат и каждую концепцию снабжал Python-скриптами.

Курс создан для аналитиков, жаждущих научиться улавливать в данных неочевидные паттерны и делать сенсационные выводы.

Программа курса небольшая, но ёмкая:
1. Введение в временные ряды: основы
2. Первичное исследование и очистка временного ряда
3. Классические методы моделирования: ARIMA
4. Классические методы моделирования: экспоненциальное сглаживание
5. Декомпозиция временных рядов
6. Фильтрация временных рядов
7. Многомерные временные ряды и причинно‑следственные связи
8. Продвинутые методы прогнозирования временных рядов

Курс запущен на платформе Симулейтив, а я — его ментор. Приглашаю вас к обучению, запишитесь через бот и — увидимся!


Прослезился...


Приветствую, любители аналитики!

Сегодня о мотивации, а именно — о способности работать на себя.

Если у вас есть работа, там с мотивацией как-то яснее. Потому что:
* Есть заказчик — кто-то, требующий результата (начальник, клиент и т.п.).
* Если работа в офисе, там рабочая атмосфера, запрещены развлечения/отвлечения
* За работу заплатят. А деньги — универсальный мотиватор
* Задачи и проекты относительно небольшие по времени (не на годы), виден план и конец
* Есть команда, коллеги, они с вами с одной упряжке, есть чувство локтя
* Есть правила, процессы

Когда вы работаете дома над своим проектом — например, осваиваете новое ремесло — аналитику:
- Вы сам себе хозяин, никто не подгоняет
- Не очевиден прогресс, результат, а ваши оценки — субъективны
- Не с кем посоветоваться, спросить мнение, нет команды
- Нет уверенности в правильном пути, т.к. нет опыта, дорожка не проторенная

Что можно с этим сделать? Ведь хочется же развиваться, расти, становиться богаче, профессиональнее, а то и вовсе сменить сферу деятельности?

Вот какие ответы я нашел для себя:

1) Привяжите своё дело к своим ценностям. Сформулируйте их как можно подробнее и полнее. Во что вы верите, что вас вдохновляет, чего вы хотите от жизни, какие достижения для вас значимы? Если ваше дело недостаточно отвечает этим ценностям, оно, скорее всего, умрёт.

2) Делайте задачи, отвечающие текущему уровню энергии. Почувствовав тупняк, внутреннее сопротивление, остановитесь, оцените уровень физической и умственной энергии и переключитесь на дело, которое больше ему соответствует. Эту технику я подробно описывал ранее.

3) Создайте мотивирующее пространство, атмосферу, побуждающую двигаться в нужном направлении. Когда вы оказываетесь в бассейне, вам поневоле хочется плыть или хотя бы бултыхаться, не так ли? Так же должно быть дома: кабинет или хотя бы угол со столом, большим монитором (а лучше — двумя), об этом я тоже как-то говорил.

4) Научитесь входить в поток. Заведите такую привычку, ритуал.

5) Всегда ищите, как ещё поднять свою личную эффективность. Рефлексируйте, мониторьте свою энергетику, палите снижение мотивации и анализируйте причины. (Тут маленький пример, как это можно делать.)
Дело должно двигаться. Если оно не движется, значит, надо либо поработать с условиями, либо отказаться от этого дела.

Все эти средства вместе создают систему, образ жизни, способствующий продуктивной деятельности без внешних мотиваторов.


Приветствую, любители аналитики!

Продолжаю наполнять Глоссарий-справочник дата-специалиста.
И у нас сегодня новый раздел, посвященный хранению данных.

Смотрите соответствующий лист. Здесь системы управления базами данных (СУБД) и всякие приблуды к ним.

Выбирай на свой вкус, как говорится!


Приветствую, любители аналитики!

В общем, вчера я был на яндексовой встрече про личный бренд, и там всякие руководители-яндексоиды болтали о своих каналах, там, о контенте и т.д.
И в том числе, о том, что нужно быть собой и писать порой о чем хочется — не только на специфичные темы канала.

Ну, я чо, я ж никогда не прочь поучиться у профи...
Поэтому сегодня об одном из моих хобби.

У меня есть собственная настольная игра — "Трапперы". Это фантастическая стратегия в жанре космического вестерна.

Я мог бы часами рассказывать историю создания настолки, вещать об игровом мире или написать километровый пост, но вчера сказали, что нефиг. Люди любят покороче (и я тоже люблю, чего уж там).

Поэтому вот вам ссылочки, кому интересно, сами смотрите:
Группа игры ВК
История создания Трапперов, часть 1

История создания Трапперов, часть 2
История создания Трапперов, часть 3
Подкаст-интервью о Трапперах

Ну а кому прям вот совсем-совсем интересно — можно и прикупить сие творчество:
OZON
Avito


Приветствую, любители аналитики!

Новая порция инструментов в нашем Справочнике для специалиста по данным!

Добавил на лист ETL/ELT оркестраторы и иже с ними.


Приветствую, любители аналитики!

Сегодня рекламный пост, но такое, признаться, рекламировать приятно.
Подкинули мне вот такой канал, личный блог предпринимателя Василия Щукина. Я полистал-почитал и понял, что подзадержусь здесь.

Во-первых, мне понравилось, как он оформлен: структурированно, грамотно, с форматированием, короче, читается легко. Меня, как любителя порядка и краткости, такое умиляет!

Во-вторых, мне близки темы канала: автоматизация бизнеса, управление, личная эффективность, бизнес-события и нетворкинг, даже семейным ценностям есть место.

Кстати, уже словил инсайт, который подлежит обдумать: о том, что регулярные занятия спортом не только прокачивают физическую энергоёмкость, но и тренируют способность решать любые задачи, доводить дело до конца.

Что до технической части — я себя называю сторонником "агрессивной" автоматизации. Только у нас в команде это побочный "продукт", а эти ребята занимаются сим делом профессионально и целенаправлено. И круто же! Рутину и ручной труд следует искоренять нещадно, на то и дано нам Создателем айти.
А в канале то и дело выкладываются кейсы этой работы. (Вот расквитаюсь с вебинарами, непременно поизучаю!)

В-третьих, в наше мутное, тревожное время особенно хочется видеть людей сильных, смелых, активных, предпринимателей, на которых стоит равняться. Раз они есть, значит жизнь не только продолжается, но и развивается.
И если такие люди охотно делятся частичкой своей энергетики, почему бы не принять её, порадовавшись за их успехи? Ведь радость даёт дофамин (или как его там)!

В общем, рекомендую.


Приветствую, любители аналитики!

Наконец я добрался до начала Справочника дата-специалиста.
По задумке, в нём будут собраны все сколько-нибудь известные инструменты, термины, методики и технологии, которые используют технари и аналитики на всех этапах работы с данными.

Как это будет выглядеть в конечном итоге — увидим в процессе.

А пока делаю маленький первый шажок: вашему вниманию представляется гугол-табличка, в которой на отдельных листах буду группировать соответствующие сущности и их описания.
Листов будет становиться всё больше, строк тоже, структура и классификация наверняка будут меняться, нам ведь важно найти наиболее удобный формат.

Начинаем с инструментов сбора и передачи данных. Сохраняйте ссылочку к себе, постараюсь обновлять документ регулярно (скажем, раз в неделю).

Да, если возникнут идеи о том, как структурировать полезней или добавить какой-то аспект — пишите в коменты, непременно рассмотрю.


Приветствую, дорогие подписчики!
Нас с вами уже 2000!

Сегодня не про аналитику, а про оправдание — почему давно нет постов.
Я тут немножко путешествую по России: Бабаево (Вологодская область), Москва, Лакинск + Покрова на Нерли + Владимир + Суздаль (Владимирская область).
Пытаюсь отдыхать от интернета, мониторов, аналитики. Жгу сучья, фоткаюсь на фоне церквей, загораю (погодка благоволит).

Но я был бы не я, если б не закончил какой-нибудь нотацией. Поэтому:

Присоединяюсь к тем, кто советует нам — трудягам иногда как следует входить в зону комфорта. Отдыхать душой и телом, ловить моменты классной погоды.


Приветствую, любители аналитики!

Вот, сегодня мне стукнуло 44. Похоже?
Самый расцвет сил, ума и всего такого.

И так совпало, что на неделе 4 вечера участвовал в защитах магистерских диссертаций дата-инженеров в НИУ ВШЭ в качестве члена гос.комиссии.

Глядя на сильные работы студентов и на меткие вопросы и комментарии преподов, я не только порадовался, что наша техническая наука ещё огого! - но и задумался о существенном углублении собственных навыков в этой сфере.

Мысль о том, как мало мы знаем, приходит, когда удаётся увидеть, как мал наш персональный мирок (в том числе, техстэк, круг задач и экторов) и как огромен остальной мир.

Теперь я надеюсь, мне хватит ресурсов осуществить задумки:
* взять интервью у не-рядовых участников AHA-2026
* взять интервью у крутых преподавателей ВШЭ
* а еще - запустить постепенно пополняемый глоссарий-справочник инструментов и технологий дата-специалиста. (Беглый поиск такового не выявил)

Интересно такое?


Приветствую, любители аналитики!

Давеча был я на Ахе 2026 (онлайн), и там обнаружилась неожиданно интересная мне панельная дискуссия, хотя обычно я такой формат не уважаю.
Тема: "Джуны-аналитики в эпоху GenAI"

Так вот, эксперты в один голос подтвердили, что требования к джунам растут. Это мы знали и так.

А вот это признание немного новее: технические навыки важны, но не главны.
Аналитики уходят от кодинга, и концентрируются на собственно анализе — постановке задач, поиске инсайтов, формулировке выводов и рекомендаций.
Посему на собеседовании могут особенно проверять именно эту часть способностей кандидата.
И, конечно, спросят об уровне владения нейросетями, вайб-кодингом.

ИИ-асситенты и агенты не вытесняют аналитиков. Они вытесняют кодеров, которые только и умеют, что писать код.
Они стремительно меняют подход к аналитике, ценности меняют.

К этому выводу я и сам пришел — давно ничего не программлю сам, но имею теперь возможность сосредоточиться на идеях, которые можно быстро проверять с помощью кода.
Так мы теперь и работаем. Например, в том году быстро разработали сервис Классификатора тематик бизнеса, который теперь нам поставляет ценны данные.

Так что, не нужно презирать или бояться нейронок — их надо решительно взять на вооружение.
Да, они порой глючат, поэтому и голову выключать не стоит.

PS. Тут я немножко писал, как с ними начать.


Приветствую, любители аналитики!

Ещё пара слов о ресурсах.

Известно, что продуктивность офисного сотрудника не однородна в течение дня.
Я заметил за собой, что могу тупить час-полтора, а потом за 15 минут решить задачу, которая давно висит (особенно противны задачи с поиском причин расхождений в данных).

Стал выяснять, от чего это зависит, оказалось — всё от того же банального уровня энергии!

Если мозги устали, если клонит в сон — бесполезно пытаться работать (и даже вредно!). Ничего не получится, нет.
Продуктивней будет сделать перерыв, передохнуть, а если есть возможность — то и вздремнуть. Хотя с дневным сном нужно аккуратней — после него может быть трудно проснуться и вернуться в ясное мышление.

Так или иначе, я пришел к выводу, что наличие энергии — даже важнее, чем наличие времени.
Если вы бодры и воодушевлены, вам хватит 15 минут на дело, на которое в состоянии упадка может уйти пара часов.

Развивая эту мысль, можно дойти до нового порядка работы: не спеши, больше отдыхай, отключайся.
При чутком учёте и своевременном восстановлении энергии ты можешь работать хоть 2 часа из 8 и при этом успевать закрывать больше задач, чем если будешь себя заставлять высиживать положенное рабочее время.

А ещё этот подход снижает уровень стресса, предотвращает выгорание и экзистенциальный кризис вообще делает работу более приятной.

Вот суть подхода:
Положим, вы столкнулись с затыком в задаче: нет идей, как её решать. Например, данные двух таблиц расходятся, а должны совпадать.
Отступитесь на время, сделайте паузу. Отойдите от компа (смартфон тоже не трогайте), по-возможности, удобно лягте, закройте глаза.
Расслабьтесь.
Постепенно перестаньте думать о задаче.
Оставайтесь в этом состоянии столько, сколько потребуется.
Этот перерыв на отдых сделает своё дело: либо придёт идея, как дальше действовать (например, какие сверочные запросы написать), либо вообще инсайт с решением (например, вспомнится упоминание коллеги об особенностях таблиц, которые и ведут к расхождению).

Ну что, будем тестить?


Приветствую, любители аналитики!

Вот и вышла статья, которую обещал в прошлом посте.
О том, как сделать автоматический линеаж витрин данных, то есть, их взаимосвязи типа "потомок — предок".

Линеаж показывается в виде интерактивного графа, где узлы — витрины (таблицы и представления), а рёбра — направленные зависимости между ними.

В качестве визуализатора графа используется СУБД Neo4j. Всё что нам нужно — это сделать коннектор между нашим Clickhouse и Neo.
Код коннектора тоже найдете в статье.

Новый вид модели данных уже помогает мне понимать сложную структуру нашего парка витрин и уверенней вести разработку или глубокий рефакторинг.

Так что пробуйте!


Полтора месяца записываю курс по Временным рядам (потому и нет пока постов) с кучей математики, графиков, фамилий иностранских учёных... Дак теперь мне везде мерещатся тренды, сезонности, фильтрации, декомпозиции...






Приветствую, любители аналитики!

Расскажу-ка о модели данных - что это, зачем и как запилить.

Модель данных — это абстрактное представление структуры данных, которое описывает, как данные организованы, хранятся, связаны между собой и как с ними можно взаимодействовать. Она определяет объекты данных (например, таблицы), отношения между ними, ограничения и правила обработки.

Зачем нужна модель данных?

1. Структуризация информации.
Модель данных помогает упорядочить данные, сделать их понятными и логичными для разработчиков, аналитиков и других участников проекта, ускоряет онбординг новичков, позволяет разным командам говорить на одном языке.

2. Обеспечение целостности данных
Модель определяет правила, которым должны соответствовать данные (например, типы полей, ограничения на уникальность, связи между таблицами, — это можно задать через DDL в некоторых СУБД), что снижает вероятность ошибок.

3. Упрощение проектирования систем
При разработке баз данных или программных систем модель данных служит основой для проектирования архитектуры и логики работы с данными.

Вот придёт к вам человек и спросит, а как у вас организованы данные? И чё вы скажете? На вот тебе доступ к БД, копайся?
А была бы модель данных, можно было бы показать схему/картинку и всё сразу стало бы понятно.

Прилагаю пару скринов, как это выглядит:
* Entity Relationship Diagram (ERD) в ДБивере — показывает взаимосвязь таблиц, а также поля, содержащие ключи, по которым таблицы связаны.
* Модель данных в Power BI — связи таблиц в отдельном пространстве интерфейса.

Не могу показать, как выглядит наша модель, но я рисовал ее вручную и в этом был её главный недостаток: актуализировать эту документацию, конечно, никто не собирался.
Поэтому мы организовались и сделали автоматический инструмент. Правда, он не графический, но зато показывает для выбранной витрины всех её потомков и предков. При этом связи строятся сами, на основе системной таблицы Кликхауса. Вот моя статейка о нём.

А в скором времени жду публикацию статьи более продвинутого инструмента — графического интерактивного линеажа витрин.


Приветствую, любители аналитики!

Сегодня у Тимлидского не совсем обычный день - ровно год назад оно родилось, уиииии!!
По такому случаю, предлагаю взглянуть на мнение редакции о топовых постах канала за год.
Погнали!

Топчик: аналитика для бизнеса
Цикл жизни витрины данных — серия постов о том, как создавать, поддерживать и умерщвлять основной рабочий объект дата-аналитика
Введение в качество данных — о том, что это, зачем и как его измерять (а здесь - о том, как мы реализовали мониторинг у себя)
Конвейер данных — коротко о моей любимой концепции работы с данными
Софт-скилы аналитика, о которых ни в коем случае не следует забывать
Интервью с BI-аналитиком из Дата офиса eLama
Интервью с дата-аналитиком из моей любимой команды

Топчик: аналитика для жизни
Поток — концепт эффективнейшего рабочего состояния, к которому следует стремиться
Как принимать решения — пошаговый алгоритм, который использую лично я
Энергетический дневник — серия постов о моей технике анализа своих ресурсов
Е+ и Е- дела — о неочевидном аспекте любых дел: об их энергетическом "донорстве" и энергетическом "вампиризме"
О важности хорошего сна — ключевой момент в энерговосстановлении

Всем желаю не только держаться вопреки передрягам,
но и развиваться благодаря им, быть антихрупкими!

И конечно, оставайтесь в Тимлидском, впереди ещё много интересного!

PS. Телега, кажется, скоро помрёт, это данность. Опрос коллег показал, что "лучшая" альтернатива — ВК. Застолбил имя пока. Напишите в комент, если вы за что-то другое.


Приветствую, любители аналитики!
Продолжаем тему ресурсов, которую начали в прошлом посте.

Энергия - ресурс, без учета которого весь тайм-менеджмент можно спокойно спустить в мусоропровод.
Для энергии нужно:
а) восстановление,
б) повышение ёмкости.

УМСТВЕННАЯ ЭНЕРГИЯ


Восстановление
* Читайте интересные вам художественные книги, желательно, бумажные
* Займитесь чем-то, не требующим раздумий, например, физическим трудом или активным физическим отдыхом.
Кстати, умственный отдых - это кайрос для уборки в доме.
* Кино (но интересное вам, чтоб смотреть, а не листать ленту параллельно)
* Сон. Качественный сон - лучший способ восстановления
* Развлечения вне дома: ресторан, караоке, тусовка, стадион и т.д.
* Переключитесь на дело, которым давно не занимались, не очень сложное, но приятное, например, разобрать архив фоток.

Увеличение ёмкости
* Учитесь. Всю жизнь (ладно, так и быть, на смертном одре можете выдохнуть).
* Решайте всё более сложные задачи.
* Как можно больше читайте книг, особенно классики. Это расширяет кругозор, словарный запас, арсенал жизненных примеров и т.д.
* Когда чувствуете, что мозг устал, поработайте ещё 5 минут и остановитесь. Такое напряжение сверх границы постепенно отодвигает эту границу.

ФИЗИЧЕСКАЯ ЭНЕРГИЯ

Тут всё интуитивно проще. Ведите здоровый образ жизни и всё.

Восстановление
* Сон (да, опять).
* Переключитесь на несложные умственные задачи, например, планирование дел, обучение третьестепенным навыкам.
* Расслабьтесь, разрешите себе больше не напрягаться сегодня, ни о чем не беспокоиться (зачем? вы сейчас все равно не справитесь).
* Поставьте себе задачу -- отдохнуть!

Увеличение ёмкости
* Регулярные тренировки. Тренажёрка, бассейн, бег, да хотя бы отжимания. Важна регулярность. Мышцы - основной "контейнер" энергии. Нужно больше мышц!
* Сбалансирование питание, витамины, минералы и т.д.
* Соблюдение биоритмов - суточных, сезонных, соответствие возрастным нормам.

Кстати, хороший систематизатор сведений о ЗОЖ можно найти вот здесь: https://www.takzdorovo.ru.
Загляните, примерьте к себе, есть ли значительные отклонения в вашем образе жизни от эталонного?
Если есть - как исправить? Если нет значительных, как оптимизировать то что есть?
Подойдите к вопросу как аналитик, чо.

Продолжение следует...

Показано 20 последних публикаций.