ChatWarsAnalytics

Я - Складмэн. Я не горжусь этим, я не стыжусь этого.
Я - Складмэн. Ладно, самую малость я горжусь этим. Охохохо, знали бы вы, как круто было, когда внезапно я оказался в команде Склада! Тех ЛЕГЕНДАРНЫХ людей, которые с истоков Chat Wars освещали все мало мальски важные события! Которые узнавали ПЕРВЫЕ рецепты и выкладывали их! Которые шаг за шагом показывали путь по извилистой и тернистой дороге всеми нами любимой игры. Вы помните это? Помните, что рецепты шмота Охотника раньше были доступны не всем? Я - помню.
Кек. Сейчас кого-то в чем-то обвиняют. В ботоводстве, в продаже за реал. Все вспоминают грехи, и никто не помнит - каково это, в очередной раз идти на канал Сливы, чтобы почерпнуть новую инфу о той игре, которую любишь и в которую играешь. Каково это - увидеть новый пост на канале Склада!
Или помнят? Помнят, как десятки людей меняли ники и трейдились как складмены или складвумены? Просто потому что могли причаститься к чему-то великому и прекрасному? Внести свой малый, но неоценимый вклад в @wsklad. Быть частью большего. Или вы забыли и на волне новых тенденций последуете за любыми обвинениями, которые сулят лишь зрелищ и хлеба?
Я - помню. Да, раньше мне было неловко ставить "складмэн" в ник - мне казалось, я был недостоин.
Недорос. Нет, ну вы посмотрите, где я, а где - Склад?
Я и сейчас недостоин. Но я - складмэн.
И я горжусь этим.

Немного порассуждаем. Если Лапка действительно влияет на результаты квеста, ожидаемо, что по успешности похода мы (при достаточном числе наблюдений) сможем предсказывать, была ли она экипирована.
А предсказание бинарного отклика - это как раз задача логистических регрессий. Что ж, модель построена, ее коэффициенты статистически значимы, что дальше? Как узнать, работает Лапка или нет?
Приоткрыть завесу тайны нам поможет ROC-анализ. Мы берем известное нам событие (факт того, надета Лапка или нет) и при помощи модели предсказываем это же событие. А затем строим милый и непонятный график. Не вдаваясь в подробности, скажу, что на вертикальной оси отображены случаи верного предсказания (лапка действительно надета и модель верно это предсказала), а по горизонтальной - неверного (лапка пылится в рюкзаке, но модель считает иначе).
Немного поразмыслив над этим, можно понять, что чем больше площадь под кривой (AUC) - тем большей предсказательной способностью обладает наша модель. Хорошие, годные модели, действительно работающие в практике показывают AUC от 90%.
Диагональная серая линия показывает предсказательную способность монеты - подбрасывая ее, мы будем практически случайным образом давать бинарный ответ на интересующий нас вопрос. AUC для нее - что вполне понятно - 50%.
Таким образом, думаю, бегло взглянув на приведенный выше график, можно сделать вполне соответствующие выводы - предсказать по успешности походов факт экипировки Лапки - ну, такое.
Будут идеи - пишите, звоните, с радостью потыкаю кнопочки на клавиатуре в процессе нового анализа :)

Итак, друзья, на этот раз я скажу пару слов в оправдание Кроличьей лапки+1🍀. Да-да, этой парой слов будет: "Не работает".
Как уже я говорил ранее, был поднят хороший вопрос - а не виноват ли в неудачных походах рост уровня? Если посмотреть на график, весьма проблематично дать оценку на глаз. Поэтому для разрешения данной затруднительной ситуации были использованы линейные модели со смешанными эффектами. Это подразумевает, что интересующий нас отклик (шанс успешного похода) будет зависеть от контролируемой нами переменной (лапка) и от некоторой величины, на которую повлиять мы не можем - а вот сюда мы и вставим уровень персонажа. Самое вкусное это то, что мы можем вполне успешно оценить и фиксированные эффекты (те, которые мы контролируем) и эффекты случайные.
Так как в проверке нуждается две гипотезы - зависит ли успех от лапки и от уровня - то и моделей будет две. Итак, для модели с лапкой p-значение равно 0.257, для уровня - 0.885. Что это значит? Приняв, что лапка и уровень имеют какое-то значение для "сбора грибов и ягод", мы будем ошибаться в 25.7% и 88.5% случаев соответственно. Это много, очень много. Ну, а в дополнение был проведен сравнительный анализ этих двух моделей, который также не выявил отличий - р-значение равно гордой единичке.
Не переключайте канал! Любимая всеми логистическая регрессия уже на пороге, осталось только нарисовать красивые графики для ROC-анализа :)

Correlation does not imply causation!
... или - Лапка возвращается!
На самом деле забавно, что на соседнем канале кто-то воспринял различие в частотах успешности похода с лапкой и без нее как "зависимость". Но, тем не менее, именно упоминание о причинно-следственных связях заставило вспомнить меня о A/B-анализе и байесовской статистике, а именно, об одном пакете, поиграть с которым хотел, но не было причины.
На самом деле, я верю и понимаю, что лапка не дает ровным счетом никакого эффекта, не увеличивая и не снижая успех похода. Но статистика - вещь капризная и продолжает мне перечить :)
Что же значат эти непонятные графики?
Первый - имеющаяся частота успешных походов в лес и предсказание. Второй - их разница. А вот третий - самый вкусный, он показывает кумулятивный эффект внешнего воздействия, т.е. лапки.
Как видно по графику, шанс успешного похода падает.
А если попробовать оценить этот эффект, окажется, что шанс успеха снижается на 3% (95% доверительный интервал равен от -6% до 0%).
Вероятность ошибиться, приняв, что лапка оказывает эффект - 4.1%. Это чуточку меньше общепринятых пяти процентов, но, тем не менее - меньше.
Статистически значимые различия обнаружены.
Вместе с тем, был поднят хороший вопрос - а не влияет ли на все это дело уровень, разработчики, фазы луны, овуляции и ГМО? Не могу ничего сказать про разработчиков или уровень аутизма у игроков в ЧВ. Фазы луны - посчитаю чуточку позже. С овуляцией у меня некоторые проблем-с, набор хромосом не тот. А вот уровень...
Кстати, давно я не пускал свои ручонки в линейные модели со смешанными эффектами, верно? Вот и запущу их туда, но - завтра.
Не переключайте канал!
#unlucky_foot

Ну, и как же тут не пнуть счастливую лапку. Наверное, на повторное поднятие этой темы меня натолкнуло... статистические значимое различие между успехом походов с лапкой и без нее!
Да, друзья, свершилось! Спустя 3640 походов я могу официально заявить - лапка работает (р-значение согласно критерию Хи-квадрат меньше одной десятитысячной). Ну, пусть не в ту сторону, в какую хотелось бы, но зато - работает!
#unlucky_foot

Несколько забавных графиков. Положение в топе, опыт и уровень персонажа. Рассматривая графики, можно заметить характерные для каждого особенности.
Топ-100. Хорошо виден перелом на сотой позиции. Очевидно, в заветной сотке борьба идет нешуточная!
Опыт. Все вполне прогнозируемо. Опыт растет линейно (хотя, с учетом того, что я обленился и могу позволить себе пропустить 2-3 битвы в день это удивительно).
Уровень персонажа. Также предсказуемая ситуация - зависимость экспоненциальная, каждый следующий уровень придется ждать чуточку дольше, чем предыдущий.
В чем же тайный месседж этих графиков? Попрошу обратить внимание аудитории на первые два: несмотря на линейный прирост опыта, за последний месяц я поднялся с 100-го места до 70-го. Еще раз - я не получаю опыта больше, чем обычно (а с учетом пропущенных битв - прирост опыта скорее даже меньше), но смог обогнать 30 человек! Как так, что произошло?
Вероятно, что они либо ушли из игры, либо близки к этому. Вдумайтесь: за последний месяц интерес к игре пропал у 30 топов. Тревожный звоночек, как мне кажется.
Summer is coming!

После недавней публикации о бесполезности кроличьей лапки +1🍀 для предотвращения неудачных походов в лес, был задан хороший вопрос: а может быть лапка спасает не от всем известных "грибов и ягод", а увеличивает количество ресурсов? Мимо такого я пройти не смог и - барабанная дробь! - лапка целиком и полностью дискредитировала себя. Гистограммы для дропа с лапкой и без оной настолько одинаковые, что я выкладываю объединенную: