Одна TimesFM вместо тысячи моделей
Google выпустила TimesFM-3, новую версию своей zero-shot модели для прогнозирования временных рядов.
Сначала, разберемся, что это за zero-shot
Zero-shot модели не нужно дообучать под каждую отдельную задачу, потому что их заранее предобучили на огромном количестве данных, и она обобщает полученные знания на другие временные ряды. Например, вот эту TimesFM-3 предобучили на 1 триллионе временных точек в разных задачах. И это позволяет просто закидывать временной ряд и получать уверенный неплохой прогноз.
Важно отметить, что специально обученные под конкретную задачу модели часто будут выигрывать у zero-shot моделей. Но во-первых, иногда важна не точность, а массовость и время до деплоя. На все задачи не наобучаешься моделей, а тут можно сразу получать приемлемый прогноз.
А во-вторых, при желании zero-shot модели можно использовать как базу для построения специализированных моделей прогнозирования.
Теперь про апдейт — он получился хорошечным
Главное ограничение предыдущих TimesFM вплоть до версии 2.5 заключалось в том, что они были одномерными. Модель смотрела на историю одной переменной и по ней предсказывала значения этой же переменной в будущем.
Например, хотим узнать продажи мороженого: загружаем исторические продажи → получаем прогноз продаж.
Но реальные задачи обычно сложнее — они многомерные. Продажи одного товара связаны с продажами других товаров, посещаемостью магазина, погодой, скидками и праздниками.
TimesFM-3 сделали многомерной и научили работать со всей этой картиной. Причем здесь есть сразу несколько сценариев многомерности.
Первый сценарий: при прогнозе модель учитывает дополнительные исторические факторы. Например, вместе с продажами можно передать прошлую посещаемость магазина.
Второй: модель учитывает известные будущие факторы. Календарь скидок, праздники или прогноз погоды помогают скорректировать прогноз на конкретные даты.
Третий: модель прогнозирует сразу несколько рядов. Можно загрузить продажи мороженого, рожков и сиропов и получить прогноз для всех трех товаров. Связи между ними модель тоже учтет.
Эти сценарии можно объединять. Например, одновременно прогнозировать несколько товаров с учетом прошлой посещаемости и будущих скидок.
В TimesFM 2.5 дополнительные факторы тоже можно было подключать через внешний XReg. В новой версии несколько временных рядов внутри самой модели.
Про технику
Ради перехода к многомерности переделали attention. Модель отдельно следит за тем, как каждый показатель меняется во времени, и за связями между разными показателями.
Изменился и сам способ построения прогноза. Раньше TimesFM генерировала часть прогноза, добавляла ее в контекст и переходила к следующей части. Поэтому ошибка на одном участке могла потянуться дальше. В третьей версии — TimesFM прогнозирует на весь горизонт за один проход. Это быстрее, а ошибки не накапливаются.
Модельку уже выложили на GitHub и Hugging Face. Интеграцию с BigQuery обещают следом. По бенчам впереди сопостовимых моделей.
Забираем в арсенал моделей для прогнозирования 📈
#ИИстатья
Заместители
Google выпустила TimesFM-3, новую версию своей zero-shot модели для прогнозирования временных рядов.
Сначала, разберемся, что это за zero-shot
Zero-shot модели не нужно дообучать под каждую отдельную задачу, потому что их заранее предобучили на огромном количестве данных, и она обобщает полученные знания на другие временные ряды. Например, вот эту TimesFM-3 предобучили на 1 триллионе временных точек в разных задачах. И это позволяет просто закидывать временной ряд и получать уверенный неплохой прогноз.
Важно отметить, что специально обученные под конкретную задачу модели часто будут выигрывать у zero-shot моделей. Но во-первых, иногда важна не точность, а массовость и время до деплоя. На все задачи не наобучаешься моделей, а тут можно сразу получать приемлемый прогноз.
А во-вторых, при желании zero-shot модели можно использовать как базу для построения специализированных моделей прогнозирования.
Теперь про апдейт — он получился хорошечным
Главное ограничение предыдущих TimesFM вплоть до версии 2.5 заключалось в том, что они были одномерными. Модель смотрела на историю одной переменной и по ней предсказывала значения этой же переменной в будущем.
Например, хотим узнать продажи мороженого: загружаем исторические продажи → получаем прогноз продаж.
Но реальные задачи обычно сложнее — они многомерные. Продажи одного товара связаны с продажами других товаров, посещаемостью магазина, погодой, скидками и праздниками.
TimesFM-3 сделали многомерной и научили работать со всей этой картиной. Причем здесь есть сразу несколько сценариев многомерности.
Первый сценарий: при прогнозе модель учитывает дополнительные исторические факторы. Например, вместе с продажами можно передать прошлую посещаемость магазина.
Второй: модель учитывает известные будущие факторы. Календарь скидок, праздники или прогноз погоды помогают скорректировать прогноз на конкретные даты.
Третий: модель прогнозирует сразу несколько рядов. Можно загрузить продажи мороженого, рожков и сиропов и получить прогноз для всех трех товаров. Связи между ними модель тоже учтет.
Эти сценарии можно объединять. Например, одновременно прогнозировать несколько товаров с учетом прошлой посещаемости и будущих скидок.
В TimesFM 2.5 дополнительные факторы тоже можно было подключать через внешний XReg. В новой версии несколько временных рядов внутри самой модели.
Про технику
Ради перехода к многомерности переделали attention. Модель отдельно следит за тем, как каждый показатель меняется во времени, и за связями между разными показателями.
Изменился и сам способ построения прогноза. Раньше TimesFM генерировала часть прогноза, добавляла ее в контекст и переходила к следующей части. Поэтому ошибка на одном участке могла потянуться дальше. В третьей версии — TimesFM прогнозирует на весь горизонт за один проход. Это быстрее, а ошибки не накапливаются.
Модельку уже выложили на GitHub и Hugging Face. Интеграцию с BigQuery обещают следом. По бенчам впереди сопостовимых моделей.
Забираем в арсенал моделей для прогнозирования 📈
#ИИстатья
Заместители