У нас новая статья в Journal of Computational Science (Q1):
Exploring the Limitations of Transformer Models for Metocean Forecasting
Авторы: Юлия Борисова, Михаил Борисов, Станислава Востикова, Виктор Голиков, Андрей Кузнецов, Глеб Соловьев, Александр Степанец, Михаил Криницкий, Николай Никитин
Это - расширенная версия статьи с конференции ICCS 2025, которую организаторы порекомендовали к подаче в конференционный спецвыпуск JOCS. Если базовая версия рассматривала ограничения в применимости трансформерных моделей для задач пространственно-временного прогнозирования на примере морского льда, то сейчас добавились примеры из области моделирования атмосферы и океана.
Новые примеры удалось добавить благодаря совместной работе с коллективом из Лаборатории машинного обучения в науках о Земле МФТИ и Института океанологии РАН. В чем суть этих примеров в контексте статьи:
Коррекция атмосферных полей. Задача - исправить систематические ошибки в полях приземного ветра и температуры из глобальной системы прогноза GFS. Здесь трансформеры (ViT, TimeSformer) уступают обычному U-Net. Причина - локальные пространственные структуры ошибок, с которыми CNN справляются лучше.
Прогнозирование океана. В этой задаче семь переменных (температура, солёность, скорости течений, уровень моря и др.) моделируются по 6-месячной предыстории на 30 дней вперёд. Трансформер с контрастным предобучением (MoCo) обходит LSTM по всем переменным: снижение RMSE на 40% для глубины перемешанного слоя, на 38% для температуры воды, на 31% для солёности. Однако, такого результат удалось достигнуть только с помощью предобучения, которое явно кодирует сезонные закономерности в скрытом пространстве.
Общий вывод прежний - трансформеры не всегда хорошо работают для пространственно-временных геофизических данных и при их применении нужно тщательно учитывать особенности данных.
Статья: https://authors.elsevier.com/c/1nD8Q6gytHA7x9
Код: https://github.com/ITMO-NSS-team/sea_ice_transformers
Для цитирований:
@article{borisova2026exploring,
title = {Exploring the limitations of transformer models for metocean forecasting},
journal = {Journal of Computational Science},
pages = {102917},
year = {2026},
issn = {1877-7503},
doi = {https://doi.org/10.1016/j.jocs.2026.102917},
author = {Julia Borisova and Mikhail Borisov and Stanislava Vostrikova and Viktor Golikov and Andrey Kuznetsov and Gleb Solovev and Alexander A. Stepanets and Mikhail Krinitskiy and Nikolay O. Nikitin}
}
P.S. Старожилы припомнят, что пять лет назад статья от нашей лаборатории про фреймворк EPDE тоже успешно прошла по схеме ICCS->JOCS. Традиции сохраняются, получается.
Exploring the Limitations of Transformer Models for Metocean Forecasting
Авторы: Юлия Борисова, Михаил Борисов, Станислава Востикова, Виктор Голиков, Андрей Кузнецов, Глеб Соловьев, Александр Степанец, Михаил Криницкий, Николай Никитин
Это - расширенная версия статьи с конференции ICCS 2025, которую организаторы порекомендовали к подаче в конференционный спецвыпуск JOCS. Если базовая версия рассматривала ограничения в применимости трансформерных моделей для задач пространственно-временного прогнозирования на примере морского льда, то сейчас добавились примеры из области моделирования атмосферы и океана.
Новые примеры удалось добавить благодаря совместной работе с коллективом из Лаборатории машинного обучения в науках о Земле МФТИ и Института океанологии РАН. В чем суть этих примеров в контексте статьи:
Коррекция атмосферных полей. Задача - исправить систематические ошибки в полях приземного ветра и температуры из глобальной системы прогноза GFS. Здесь трансформеры (ViT, TimeSformer) уступают обычному U-Net. Причина - локальные пространственные структуры ошибок, с которыми CNN справляются лучше.
Прогнозирование океана. В этой задаче семь переменных (температура, солёность, скорости течений, уровень моря и др.) моделируются по 6-месячной предыстории на 30 дней вперёд. Трансформер с контрастным предобучением (MoCo) обходит LSTM по всем переменным: снижение RMSE на 40% для глубины перемешанного слоя, на 38% для температуры воды, на 31% для солёности. Однако, такого результат удалось достигнуть только с помощью предобучения, которое явно кодирует сезонные закономерности в скрытом пространстве.
Общий вывод прежний - трансформеры не всегда хорошо работают для пространственно-временных геофизических данных и при их применении нужно тщательно учитывать особенности данных.
Статья: https://authors.elsevier.com/c/1nD8Q6gytHA7x9
Код: https://github.com/ITMO-NSS-team/sea_ice_transformers
Для цитирований:
@article{borisova2026exploring,
title = {Exploring the limitations of transformer models for metocean forecasting},
journal = {Journal of Computational Science},
pages = {102917},
year = {2026},
issn = {1877-7503},
doi = {https://doi.org/10.1016/j.jocs.2026.102917},
author = {Julia Borisova and Mikhail Borisov and Stanislava Vostrikova and Viktor Golikov and Andrey Kuznetsov and Gleb Solovev and Alexander A. Stepanets and Mikhail Krinitskiy and Nikolay O. Nikitin}
}
P.S. Старожилы припомнят, что пять лет назад статья от нашей лаборатории про фреймворк EPDE тоже успешно прошла по схеме ICCS->JOCS. Традиции сохраняются, получается.