⚠️ Авария во Франкфурте: что известно на данный момент
Зоны: de-1
Тип:❗️Major
Рассказываем подробно, что происходит и почему.
Что произошло
Авария случилась не на нашей площадке, а на промежуточном узле — в дата-центре Equinix FR5 во Франкфурте. Это один из крупнейших телеком-хабов Европы, и через него проходят все наши каналы связи до площадки, где размещены серверы de-1. Само оборудование с вашими данными не пострадало — потеряна сетевая связность.
По информации от площадки, в FR5 дала течь труба системы охлаждения машинных залов. Протечка затронула все системы охлаждения здания, температура поднялась выше 50 °C, сработала система пожаротушения, и сетевое оборудование начало массово отключаться. Дополнительно мы фиксируем множественные аварии на каналах и магистралях в регионе.
Таймлайн по мск
05:33 — AWS фиксирует первые потери пакетов на линках через FR5
05:41 — в FR5 обнаружена протечка трубы системы охлаждения
06:32 — магистральный оператор Core-Backbone фиксирует рост температуры в залах
07:25 — критическая температура, массовые обрывы связи по всему ДЦ
07:26 — утечка локализована, начата заправка контура охлаждения
08:09 — значительная часть оборудования в ДЦ отключилась
09:38 — в залах работают осушители, идёт откачка воды
10:30 — на площадку прибыли инженеры вендоров чиллеров и противопожарной системы
Сейчас план у Equinix такой: продуть контур охлаждения от воздуха и по одному тестово запускать чиллеры. Доступ к оборудованию в пострадавших залах пока закрыт — там вода и оборудование под напряжением.
Это глобальный сбой, не только у нас
FR5 — точка присутствия десятков операторов, и авария ударила по многим:
• AWS официально подтверждает деградацию Direct Connect в eu-central-1 из-за «инфраструктурной проблемы на площадке Equinix FR5» и оценивает восстановление в «multiple hours»: health.aws.amazon.com/health/status
• Core-Backbone потерял в FR5 четыре узла, публикует детальный отчёт: status.core-backbone.com/index.php?id=6709
• SMARTNET подтверждает недоступность ряда операторов в FR5, включая магистрального RETN: status.as203446.net/item.php?id=10
• На allestörungen.de (немецкий Downdetector) — всплеск жалоб на провайдеров по всей Германии.
Когда всё заработает
Точного ETR у поставщиков пока нет — он появится после того, как ДЦ восстановит охлаждение и откроет доступ к оборудованию. Наши инженеры на связи с партнёрами и готовы приступить к проверке связности сразу после восстановления узла.
Будем публиковать апдейты по мере поступления информации.
Зоны: de-1
Тип:❗️Major
Рассказываем подробно, что происходит и почему.
Что произошло
Авария случилась не на нашей площадке, а на промежуточном узле — в дата-центре Equinix FR5 во Франкфурте. Это один из крупнейших телеком-хабов Европы, и через него проходят все наши каналы связи до площадки, где размещены серверы de-1. Само оборудование с вашими данными не пострадало — потеряна сетевая связность.
По информации от площадки, в FR5 дала течь труба системы охлаждения машинных залов. Протечка затронула все системы охлаждения здания, температура поднялась выше 50 °C, сработала система пожаротушения, и сетевое оборудование начало массово отключаться. Дополнительно мы фиксируем множественные аварии на каналах и магистралях в регионе.
Таймлайн по мск
05:33 — AWS фиксирует первые потери пакетов на линках через FR5
05:41 — в FR5 обнаружена протечка трубы системы охлаждения
06:32 — магистральный оператор Core-Backbone фиксирует рост температуры в залах
07:25 — критическая температура, массовые обрывы связи по всему ДЦ
07:26 — утечка локализована, начата заправка контура охлаждения
08:09 — значительная часть оборудования в ДЦ отключилась
09:38 — в залах работают осушители, идёт откачка воды
10:30 — на площадку прибыли инженеры вендоров чиллеров и противопожарной системы
Сейчас план у Equinix такой: продуть контур охлаждения от воздуха и по одному тестово запускать чиллеры. Доступ к оборудованию в пострадавших залах пока закрыт — там вода и оборудование под напряжением.
Это глобальный сбой, не только у нас
FR5 — точка присутствия десятков операторов, и авария ударила по многим:
• AWS официально подтверждает деградацию Direct Connect в eu-central-1 из-за «инфраструктурной проблемы на площадке Equinix FR5» и оценивает восстановление в «multiple hours»: health.aws.amazon.com/health/status
• Core-Backbone потерял в FR5 четыре узла, публикует детальный отчёт: status.core-backbone.com/index.php?id=6709
• SMARTNET подтверждает недоступность ряда операторов в FR5, включая магистрального RETN: status.as203446.net/item.php?id=10
• На allestörungen.de (немецкий Downdetector) — всплеск жалоб на провайдеров по всей Германии.
Когда всё заработает
Точного ETR у поставщиков пока нет — он появится после того, как ДЦ восстановит охлаждение и откроет доступ к оборудованию. Наши инженеры на связи с партнёрами и готовы приступить к проверке связности сразу после восстановления узла.
Будем публиковать апдейты по мере поступления информации.