Что случилось с Facebook, Instagram и WhatsApp 4-го октября 2021 года
Вчера, 4 октября, около 18:50 по Мск начали поступать тревожные сообщения со всего мира, что перестали работать Facebook, Instagram и Whatsapp. Оказалось, что примерно в 18:40 в сети Facebook сделали очередное обновление на всё своё сетевое оборудование, занимавшееся анонсами BGP (Border Gateway Protocol, протокол граничного шлюза — протокол динамической маршрутизации), которое объявляет маршрутизацию к их сервисам. Это привело к полному разрыву связи между сервисами и к остановке обслуживания DNS.
Попытки открыть адрес facebook.com у всего мира около получаса-часа показывали «can’t resolve domain». WhatsApp и Instagram также принадлежат FB и размещаются на их площадке, в связи с чем они также стали недоступны.
Для починки требовалось ручное вмешательство:
- Во все BGP-роутеры
- Во всех датацентрах
- Всех точек присутствия FACEBOOK
Это очень сложно: физического доступа до всех нужных ЦОД’ов нет, а там, на местах, физически сейчас присутствуют не самые опытные дежурные сотрудники, чьими руками приходится производить манипуляции с большой задержкой, так как из головного офиса инженеры не могут мгновенно «прилететь» во все необходимые датацентры.
Ситуация осложняется эпидемиологической обстановкой: физическое присутствие персонала в датацентрах сильно сокращено. Кроме того, у сотрудников Facebook из-за настолько масштабного влияния проблемы стали недоступны внутренние средства коммуникации — по этой причине они вынуждены были координировать все происходящие сейчас работы через иные платформы. Что также замедляет решение.
Не говоря о том, что настолько долгий перерыв прервал все их репликации данных между датацентрами, и на разбор последствий аварии теперь уйдёт какое-то время, в связи с тем, что автоматика их не разрулит после возобновления сетевого общения.
Сервисы не работали слишком долго, поэтому аудитория Facebook, Instagram & WhatsApp плавно перетекала в другие сети и мессенджеры, которые переживали очень резкий наплыв трафика, что выглядит со стороны как замедление их работы.
В Facebook сбой отключил почти все внутренние системы, которые сотрудники используют для общения и работы. Несколько сотрудников рассказали, что они общаются через свои служебные учетные записи электронной почты Outlook, хотя сотрудники не могут получать электронные письма с внешних адресов. Сотрудники, которые вошли в рабочие инструменты, такие как Google Docs и Zoom, до отключения могут по-прежнему использовать их. Но любой сотрудник, кто пытался войти в систему со своим рабочим адресом электронной почты, был заблокирован.
По словам двух человек, знакомых с ситуацией, инженеры Facebook были отправлены в центры обработки данных компании в США, чтобы попытаться решить проблему. Это означало, что отключение, которое и без того было самым серьезным для Facebook за многие годы, могло длиться ещё дольше.
Примерно через шесть часов после того, как Facebook, WhatsApp и Instagram вышли из строя, сервисы начали возвращаться в онлайн, хоть и с задержками. Полностью работа сервисов восстановилась примерно через 8 часов после падения.
Согласно публичным заявлениям трех сервисов Facebook, Instagram и WhatsApp вышли из строя вечером понедельника. Сайт отслеживания сбоев Down Detector зарегистрировал десятки тысяч отчетов для каждой из служб. СFacebook вообще не загружался; Instagram и WhatsApp были доступны, но не могли загружать новый контент или отправлять сообщения.
