Работа LeadConverter восстановлена
Приносим извинения за длительную недоступность платформы. Мы понимаем, что сбой нарушил ваши планы, остановил рассылки и работу с клиентами. Рассказываем, что произошло и что нужно знать перед продолжением работы.
❔Почему платформа была недоступна?
Наши основные серверы находились в дата-центре Яндекса в Сасове, в зоне доступности ru-central1-b. По официальному сообщению Yandex Cloud, в результате атаки БПЛА произошёл пожар, работа дата-центра была остановлена. (Сообщение Yandex Cloud)
❔Почему восстановление заняло так много времени?
После инцидента создание новых ресурсов в других зонах Yandex Cloud оказалось ограничено. Быстро запустить замену недоступным серверам не получилось.
Мы параллельно готовили резервную инфраструктуру у другого провайдера и восстанавливали платформу в доступной зоне Яндекса (когда ситуация немного улучшилась, появились квоты на необходимый минимум ресурсов). Подготовка серверов, перенос большого объёма данных и проверка базы требуют значительного времени.
❔База восстановлена из копии от 7 октября. Что это значит и почему?
Полная резервная копия базы, которая хранится в других дата-центрах, создаётся раз в сутки. Более частые инкрементальные копии сохраняют изменения между такими резервными копиями, но находятся в том же дата-центре, что и основная база. Сейчас они, как и исходная база, недоступны.
Поэтому для восстановления мы использовали последнюю доступную копию от 7 октября, примерно на 06:00 по московскому времени.
Это означает, что платформа восстановлена в состоянии на тот момент. Более поздние изменения - новые подписчики, сообщения, рассылки, настройки ботов и другие данные - в восстановленную версию не вошли.
Мы понимаем, насколько эти изменения важны для вашей работы. Такая схема резервирования позволила восстановить платформу, но оказалась недостаточной для сохранения последних данных при недоступности целого дата-центра.
❔Запланированные на 7 и 8 октября рассылки отправятся сейчас?
Рассылки за эти даты, которые в восстановленной копии оставались запланированными, были переведены в статус «Отменена».
Это сделано, чтобы уже отправленные сообщения не ушли повторно, а несколько писем из последовательной цепочки не отправились одновременно после восстановления.
Если отменённую рассылку всё ещё нужно отправить, проверьте её актуальность и продолжите отправку. При необходимости обратитесь в поддержку.
Рассылки, созданные после точки резервного копирования, могут отсутствовать. Их потребуется создать заново.
❔У меня был оплачен тариф на период 7–8 октября. Что делать?
Обратитесь в поддержку и укажите название вашей кампании. Если заметили повторное списание, также сообщите об этом - проверим его и оформим возврат при необходимости.
❔Какие выводы мы сделали?
Как показала практика, текущая геополитическая ситуация требует учитывать риски, которые раньше казались исключительными: физическое повреждение дата-центра и его длительную недоступность. Этот инцидент показал, что нам нужна дополнительная защита за пределами одного облачного провайдера.
Мы запланировали создание реплики базы у другого провайдера на географически удалённой площадке и проверку процедуры переключения на неё. Это должно значительно сократить время восстановления и объём данных, которые могут быть потеряны в случае, если новый дата-центр столкнётся с такой же ситуацией.
Благодарим за поддержку 🙏
Спасибо пользователям за терпение и сообщения, которые помогают находить оставшиеся проблемы.
Выражаем благодарность и поддержку команде Yandex Cloud. Сейчас специалисты работают в тяжелейших условиях, устраняя последствия инцидента и помогая клиентам восстанавливать сервисы. Спасибо за вашу выдержку, профессионализм и огромную работу. Желаем вам сил, скорейшей стабилизации инфраструктуры и возвращения к спокойной работе.
👇Если вам нужна помощь, напишите нам любым удобным способом:
Поддержка в Telegram
Поддержка во ВКонтакте
Другой канал связи с поддержкой
Укажите название вашей кампании и кратко опишите проблему. Это поможет нам быстрее разобраться.
Приносим извинения за длительную недоступность платформы. Мы понимаем, что сбой нарушил ваши планы, остановил рассылки и работу с клиентами. Рассказываем, что произошло и что нужно знать перед продолжением работы.
❔Почему платформа была недоступна?
Наши основные серверы находились в дата-центре Яндекса в Сасове, в зоне доступности ru-central1-b. По официальному сообщению Yandex Cloud, в результате атаки БПЛА произошёл пожар, работа дата-центра была остановлена. (Сообщение Yandex Cloud)
❔Почему восстановление заняло так много времени?
После инцидента создание новых ресурсов в других зонах Yandex Cloud оказалось ограничено. Быстро запустить замену недоступным серверам не получилось.
Мы параллельно готовили резервную инфраструктуру у другого провайдера и восстанавливали платформу в доступной зоне Яндекса (когда ситуация немного улучшилась, появились квоты на необходимый минимум ресурсов). Подготовка серверов, перенос большого объёма данных и проверка базы требуют значительного времени.
❔База восстановлена из копии от 7 октября. Что это значит и почему?
Полная резервная копия базы, которая хранится в других дата-центрах, создаётся раз в сутки. Более частые инкрементальные копии сохраняют изменения между такими резервными копиями, но находятся в том же дата-центре, что и основная база. Сейчас они, как и исходная база, недоступны.
Поэтому для восстановления мы использовали последнюю доступную копию от 7 октября, примерно на 06:00 по московскому времени.
Это означает, что платформа восстановлена в состоянии на тот момент. Более поздние изменения - новые подписчики, сообщения, рассылки, настройки ботов и другие данные - в восстановленную версию не вошли.
Мы понимаем, насколько эти изменения важны для вашей работы. Такая схема резервирования позволила восстановить платформу, но оказалась недостаточной для сохранения последних данных при недоступности целого дата-центра.
❔Запланированные на 7 и 8 октября рассылки отправятся сейчас?
Рассылки за эти даты, которые в восстановленной копии оставались запланированными, были переведены в статус «Отменена».
Это сделано, чтобы уже отправленные сообщения не ушли повторно, а несколько писем из последовательной цепочки не отправились одновременно после восстановления.
Если отменённую рассылку всё ещё нужно отправить, проверьте её актуальность и продолжите отправку. При необходимости обратитесь в поддержку.
Рассылки, созданные после точки резервного копирования, могут отсутствовать. Их потребуется создать заново.
❔У меня был оплачен тариф на период 7–8 октября. Что делать?
Обратитесь в поддержку и укажите название вашей кампании. Если заметили повторное списание, также сообщите об этом - проверим его и оформим возврат при необходимости.
❔Какие выводы мы сделали?
Как показала практика, текущая геополитическая ситуация требует учитывать риски, которые раньше казались исключительными: физическое повреждение дата-центра и его длительную недоступность. Этот инцидент показал, что нам нужна дополнительная защита за пределами одного облачного провайдера.
Мы запланировали создание реплики базы у другого провайдера на географически удалённой площадке и проверку процедуры переключения на неё. Это должно значительно сократить время восстановления и объём данных, которые могут быть потеряны в случае, если новый дата-центр столкнётся с такой же ситуацией.
Благодарим за поддержку 🙏
Спасибо пользователям за терпение и сообщения, которые помогают находить оставшиеся проблемы.
Выражаем благодарность и поддержку команде Yandex Cloud. Сейчас специалисты работают в тяжелейших условиях, устраняя последствия инцидента и помогая клиентам восстанавливать сервисы. Спасибо за вашу выдержку, профессионализм и огромную работу. Желаем вам сил, скорейшей стабилизации инфраструктуры и возвращения к спокойной работе.
👇Если вам нужна помощь, напишите нам любым удобным способом:
Поддержка в Telegram
Поддержка во ВКонтакте
Другой канал связи с поддержкой
Укажите название вашей кампании и кратко опишите проблему. Это поможет нам быстрее разобраться.