Facebook

Вчера, 4 октября, около 18:50 по Мск начали поступать тревожные сообщения со всего мира, что перестали работать Facebook, Instagram и Whatsapp. Оказалось, что примерно в 18:40 в сети Facebook сделали очередное обновление на всё своё сетевое оборудование, занимавшееся анонсами BGP (Border Gateway Protocol, протокол граничного шлюза — протокол динамической маршрутизации), которое объявляет маршрутизацию к их сервисам. Это привело к полному разрыву связи между сервисами и к остановке обслуживания DNS.

Что случилось с Facebook, Instagram и WhatsApp 4-го октября 2021 года (105074018 GettyImages 669889778)
Марк Цукерберг, CEO Facebook

Попытки открыть адрес facebook.com у всего мира около получаса-часа показывали «can’t resolve domain». WhatsApp и Instagram также принадлежат FB и размещаются на их площадке, в связи с чем они также стали недоступны.

Для починки требовалось ручное вмешательство:

  1. Во все BGP-роутеры
  2. Во всех датацентрах
  3. Всех точек присутствия FACEBOOK

Это очень сложно: физического доступа до всех нужных ЦОД’ов нет, а там, на местах, физически сейчас присутствуют не самые опытные дежурные сотрудники, чьими руками приходится производить манипуляции с большой задержкой, так как из головного офиса инженеры не могут мгновенно «прилететь» во все необходимые датацентры.

Что случилось с Facebook, Instagram и WhatsApp 4-го октября 2021 года (facebook010 data center)
Один из ЦОДов Facebook

Ситуация осложняется эпидемиологической обстановкой: физическое присутствие персонала в датацентрах сильно сокращено. Кроме того, у сотрудников Facebook из-за настолько масштабного влияния проблемы стали недоступны внутренние средства коммуникации — по этой причине они вынуждены были координировать все происходящие сейчас работы через иные платформы. Что также замедляет решение.

Не говоря о том, что настолько долгий перерыв прервал все их репликации данных между датацентрами, и на разбор последствий аварии теперь уйдёт какое-то время, в связи с тем, что автоматика их не разрулит после возобновления сетевого общения.

Что случилось с Facebook, Instagram и WhatsApp 4-го октября 2021 года (FPLOPBYGBBGXJO5RRPKQQDVO6U)
Офис Facebook в США

Сервисы не работали слишком долго, поэтому аудитория Facebook, Instagram & WhatsApp плавно перетекала в другие сети и мессенджеры, которые переживали очень резкий наплыв трафика, что выглядит со стороны как замедление их работы.

В Facebook сбой отключил почти все внутренние системы, которые сотрудники используют для общения и работы. Несколько сотрудников рассказали, что они общаются через свои служебные учетные записи электронной почты Outlook, хотя сотрудники не могут получать электронные письма с внешних адресов. Сотрудники, которые вошли в рабочие инструменты, такие как Google Docs и Zoom, до отключения могут по-прежнему использовать их. Но любой сотрудник, кто пытался войти в систему со своим рабочим адресом электронной почты, был заблокирован.

Что случилось с Facebook, Instagram и WhatsApp 4-го октября 2021 года (facebook office feature 780x470 1)
Знаменитая табличка перед офисом Facebook в Кремниевой долине

По словам двух человек, знакомых с ситуацией, инженеры Facebook были отправлены в центры обработки данных компании в США, чтобы попытаться решить проблему. Это означало, что отключение, которое и без того было самым серьезным для Facebook за многие годы, могло длиться ещё дольше.

Примерно через шесть часов после того, как Facebook, WhatsApp и Instagram вышли из строя, сервисы начали возвращаться в онлайн, хоть и с задержками. Полностью работа сервисов восстановилась примерно через 8 часов после падения.

Согласно публичным заявлениям трех сервисов Facebook, Instagram и WhatsApp вышли из строя вечером понедельника. Сайт отслеживания сбоев Down Detector зарегистрировал десятки тысяч отчетов для каждой из служб. СFacebook вообще не загружался; Instagram и WhatsApp были доступны, но не могли загружать новый контент или отправлять сообщения.

0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии