DziS Science | Data Science

2/2
Архитектура итогового сабмита:
Два независимых стека, финальный бленд:

🔸Part A - физика. 128-сидовый likelihood-weighted particle filter (ANCC-anchored, Z-velocity coupled, numba), поверх — селектор кандидатных путей + robust low-degree полиномиальная проекция. На выходе anchor.

🔸Part B - ML-стек (fleongg). LGBM×3 + CatBoost×2 + Ridge-мета. Ключевая инженерная деталь - два спатиальных импьютера, FormationPlaneKNN и DenseANCCImputer, которые тянут признаки формаций (ANCC/ASTNU/…, есть только в train) с ближайших соседних скважин; на train-объектах вызываются с self_wid, который исключает саму скважину из выдачи соседей. Поверх - physfeats: self-log + neighbor-dip признаки, инъекция весом W_HARD=0.3 в финал ветки.

Поверх обеих веток:
🔸 HMM (forward-backward, self-log emission), вес HMM_W
🔸 kriging по датум-сдвигу b_w (locked-конфиг: TH=2.2166, ANISO=2.0, RNG=500, K=25, anisotropic variogram), вес krige_w; работает только за счёт соседей ближе ~500 ft (при исключении их из lookup сигнал схлопывается)
🔸 gold/contact-override - прямое восстановление TVT из формаций для скважин-дублей train hidden
🔸 seed-branch hedge: когда посмертное распределение 128 PF-сидов бимодально (masса меньшей моды ≥0.25, разделение мод 4–40 ft), сдвигаем предсказание к взвешенной середине веток, капом ±2 ft; срабатывает на ~12% скважин

Финальная формула: pred = w_sp45·[(1−HMM_W)·anchor + HMM_W·hmm] + (1−w_sp45)·fleongg, затем + krige-сдвиг, + gold-override, + seed-hedge.

Валидация:
Итоговые веса финального сабмита были заточены под кросс-валидацию с GroupKFold(folds=5) по скважинам, при этом валидация была настроена для каждой части отдельно, итоговая валидация всей модели делалась на пересечении (по итогу на CV оценивались 370 скважин). Как показали результаты, CV отлично коррелировала с Private (итогова модель имела 9.004 против 9.038 на Private), но корреляция с LB была отрицательная, что и привело к огромному LB шафлу после соревнования.

Главный вывод:
Trust Your CV.
Public LB - маленькая (52 скважины), шумная подвыборка скрытого теста; CV370 - выборка на порядок больше. Ретроспективная проверка на private-скорах топ-89 сабмитов дала корреляцию Pearson +0.90 между CV и private LB - и отрицательную (−0.61) между public LB и private. Несколько раз в процессе мы отказывались от CV-оптимальных конфигов в пользу тех, что лучше смотрелись на public LB - и каждый раз это было ошибкой в противоположную от истины сторону.

Смелая попытка довериться CV до конца, невзирая на посредственный public-скор, принесла +168 позиций и бронзу. При этом ни оверфита, ни случайного выброса не произошло именно благодаря стабильности этой CV: 370 скважин с честными групповыми фолдами - выборка того же порядка, что и сам скрытый тест, поэтому и скачок получился большим, но объяснимым по величине, а не подарком генератора случайных чисел.

#соревнования

Всем привет!👋
Мы дождались, обзор на вилки вышел!

#карьера

Привет всем!👋

Всем хорошего воскресенья!
Давно не писал про то, как дела в стане тимлидском.

На самом деле за последние полгода у меня накопилось столько историй, что я даже не знаю сколько времени чистого потребуется все рассказать. Большую часть, очевидно, транслировать публично не могу, но даже и без этого хватает контента.

Тимлид всегда между трех огней: непосредственное руководство, контрагенты, команда.

И чаще всего во всех моих историях выигрыша нет нигде, но можно не проиграть.

🔸В работе с руководством язык тимлида его враг.
Иногда лучшим решением является именно промолчать, отнестись с хладнокровием. Вставленные "5 копеек" всегда работают бинарно: либо это отличное решение, к которому прислушиваются, либо это ситуация, в которой ты сидишь и понимаешь, что лучше было не встревать.

Главное правило - оцени предварительно, влияет ли обсуждаемое на тебя. Если нет, то можно всегда попасть в минус, без, очевидно, какого-то профита для себя.

Процессы, которые тебя бесят/расстраивают/ущемляют очень сложно отменить и бойкотировать, но можно попробовать уменьшить влияние, только через конструктивное предложение по улучшению

В общем, тут буквально работает правило "Все сказанное вами будет использовано против вас в суде", поэтому не говорите то, что не мотивировано острой нуждой.

🔸Быть хорошим парнем для контрагента не всегда хорошо.
Нас учат, что с заказчик - человек, которому отказывать нельзя. Ты делаешь основной беклог + делаешь задачи по запросу. В какой-то момент задачи начинают деструктивно влиять на процессы или вообще уходят в полный Rock'n'Roll.
Например, когда заказчик просит нарушить закон о персоналке, что б ускорить аналитику, игнорируя процесс передачи данных в установленном порядке.
Или ставятся задачи, которые не имеют четкого результата, без увеличения сроков задач по затрагиваемым другим задачам (переключение ресурсов с одной задачи на другую).
Тут опять же, надо отстаивать свою позицию, что бывает, нередко трудоемко.
Если задачи аналитики влияют на беклог, надо приучать заказчика двигать сроки по основной ветке разработки. Надо научить заказчика не идти на необоснованные риски, а тем более не вляпываться в риски самому, без нужды.

Тут опять же совет дипломатичности: отказать контрагенту плохо, мотивировать сложность задачи приемлемо.

🔸Команда - это хаос. Приручи хаос.
Любая команда состоит из людей, разные люди имеют разную мотивацию к работе, различные интересы и отношение к разным задачам.
Нужно обязательно поддерживать дисциплину, настраивать оптимальные рабочие процессы, не требовать того, что кажется идиотским или бесполезным решением без нужны. Если человеку не понятно, зачем заполнять Jira или Confluence, то это твоя работа донести понятным языком.

Мотивация людей отдельная песня. Не всех мотивируют деньги, не всех мотивируют интересные задачи. Цель - понять по каждому что его мотивирует и далее руководствоваться именно этим.

Отдельно скажу, что у любого сотрудника есть вероятность дефолта (для себя я его ввел как шанс его увольнения на горизонте 1 месяца). Если появились первые звоночки о повышении дефолта - тут начинается активная работа лида, начинающаяся именно с уточнения причин (буквально факторный анализ).

Однако, тут начинается самое веселое. Наивно полагать, что человек, который не работал/работал плохо до исправления ситуации, не окажется в этом состоянии после изменений через полгода/год. Поэтому, ты всегда должен держать в уме, что человек, пришедший с контроффером придет к тебе следующий раз. У него уже паттерн выработался, пришел с оффером, получил повышение, преференции. Взвешиваем необходимости и возможности содержания человека вопрос о продолжении отношений всегда решается. Если в формуле знак равно не ставится, нужно прощаться.

Особенно интересно в этом вопросе смотреть на парад лицемерия, где человек пребывает во временной эйфории, а ты уже понимаешь, что тебя ждет через полгода. Если для кого-то это новость, то добро пожаловать в новый мир!

Самое страшное в этот период - влияние "дефолтника" на команду. У тебя есть один дефолтник, который делает среду токсичной: начинает говорить, что где-то трава зеленее, где-то платят больше, задачи интереснее и тд. Моральный дух команды падает, так как очевидно, что никто не будет работать над скучными по его мнению задачами за бесплатно. Рынок щупать надо, для понимания что сейчас актуально, чем занимаются и какие расценки. Но использовать это как инструмент отравления команды и манипуляции - плохо. Вопросы правильнее решать в таком случае напрямую с руководством, без публичных выступлений.

Куча выступлений и высказываний умных мужей про это, что даже если токсичный "дефолтник" перформит, с ним надо прощаться, так как это бомба замедленного действия. Как написано выше, команда это хаос и все будет ок, пока процесс контролируемый.

Думаю как-то так. Более конкретные примеры и кулстори, к сожалению, в канале писать не буду, не буду у "Дата канальи" хлеб отнимать.

#трудовые_будни #карьера