Сегодня я нажал кнопку "раскатать на всех" в эксперименте, над которым моя команда работала с начала года.
Эксперимент положительный, доверительный интервал глубоко зеленого цвета. Опытный экспериментатор отметит тот факт, что граница доверитильного интервала далеко от нуля, а значит confidence у этого эксперимента достаточно высокий. Вне всяких сомнений, это улучшение опыта клиентов немного заметное даже на масштабе всей огромной компнии.
Успех в этом эксперименте фактически означает, что мы выполнили свои цели на этот год, и дальше можно работать уже имея большую свободу: вкладываться в какие-то долгосрочные проекты без немедленной отдачи, или доводить какие-то более мелкие штуки.
Ну и немного улучшить ситуацию с тех. долгом, поработать над нашим собственным тулингом, углубить интеграцию с AI в конце концов.
Суть улучшения не все поймут даже внутри компании, а наружу про нее говорить вообще пока нельзя, но это на стыке модного AI (LLM-driven) и классического ML. Я очень рад, что именно эта гипотеза сработала.
Дело в том, что новомодный AI, конечно, обладает большими возможностями, и иногда слабо отличим от магии, но для задач, где нужно обработать огромное количество данных, он почти не применим: и дорого, и медленно.
Недавно стали появляться подходы, которые позволяют их эффективно скрещивать, и использовать магию LLM в том числе на BigData задачках, но они пока технически достаточно сложные. Один из них сработал у нас.
Я надеюсь, через пол года об этом напишут статью, и тогда можно будет рассказывать уже в деталях, а пока просто хочется разделить с вами эту эмоцию.
Андрей Менде, PM ML Booking .com, автор симуляторов Claude code AI для продакта, ЛЛМ для продакта, ML для продакта, и др.
Эксперимент положительный, доверительный интервал глубоко зеленого цвета. Опытный экспериментатор отметит тот факт, что граница доверитильного интервала далеко от нуля, а значит confidence у этого эксперимента достаточно высокий. Вне всяких сомнений, это улучшение опыта клиентов немного заметное даже на масштабе всей огромной компнии.
Успех в этом эксперименте фактически означает, что мы выполнили свои цели на этот год, и дальше можно работать уже имея большую свободу: вкладываться в какие-то долгосрочные проекты без немедленной отдачи, или доводить какие-то более мелкие штуки.
Ну и немного улучшить ситуацию с тех. долгом, поработать над нашим собственным тулингом, углубить интеграцию с AI в конце концов.
Суть улучшения не все поймут даже внутри компании, а наружу про нее говорить вообще пока нельзя, но это на стыке модного AI (LLM-driven) и классического ML. Я очень рад, что именно эта гипотеза сработала.
Дело в том, что новомодный AI, конечно, обладает большими возможностями, и иногда слабо отличим от магии, но для задач, где нужно обработать огромное количество данных, он почти не применим: и дорого, и медленно.
Недавно стали появляться подходы, которые позволяют их эффективно скрещивать, и использовать магию LLM в том числе на BigData задачках, но они пока технически достаточно сложные. Один из них сработал у нас.
Я надеюсь, через пол года об этом напишут статью, и тогда можно будет рассказывать уже в деталях, а пока просто хочется разделить с вами эту эмоцию.
Андрей Менде, PM ML Booking .com, автор симуляторов Claude code AI для продакта, ЛЛМ для продакта, ML для продакта, и др.