4. října v 15:51 UTC inženýři otevřeli interní incident nazvaný „Facebook DNS lookup returning SERVFAIL“ (SERVFAIL je odpověď DNS resolveru, pokud nemůže kontaktovat zodpovědné DNS servery a získat odpověď). Ještě než stihli publikovat status, že se něco děje s jejich resolverem, všimli si, že jde o výrazně větší problém.

Sociální média ihned reportovala to, co inženýři z Cloudlflare vzápětí také potvrdili: Facebook a s ním spojené služby WhatApp a Instagram jsou kompletně nedostupné. Vypadalo to, jako by někdo doslova „vytrhal kabely“ z jejich data center. Problém nebyl způsobený DNS, ale selhávající služba DNS byla prvním příznakem většího výpadku Facebooku.

Jak funguje BGP

Dovolte mi malou vsuvku objasňující, jak funguje BGP, což je Border Gateway Protocol. Je to mechanismus pro výměnu směrovacích informací mezi autonomními systémy (AS) v Internetu. Velké směrovače, které zajišťují fungování internetu, mají obrovské, neustále aktualizované seznamy možných tras, které lze použít k doručení každého síťového paketu do jeho konečného cíle. Bez protokolu BGP by internetové směrovače nevěděly, co mají dělat, a internet by nefungoval.

Internet je doslova síť sítí a je spojen protokolem BGP. Protokol BGP umožňuje jedné síti (řekněme Facebooku) inzerovat svou přítomnost ostatním sítím, které tvoří Internet. V případě, že daná síť svou přítomnost neinzeruje, poskytovatelé internetových služeb a ostatní sítě nemohou síť najít, a proto je nedostupná.

Jak nastal výpadek?

V 15:58 UTC bylo zpozorováno, že Facebook přestal oznamovat trasy ke svým prefixům DNS. To znamenalo, že přinejmenším servery DNS společnosti Facebook byly nedostupné. Z tohoto důvodu nemohl resolver DNS 1.1.1.1 společnosti Cloudflare nadále odpovídat na dotazy, které se ptaly na IP adresu facebook.com. Ostatní IP adresy Facebooku mezitím zůstaly směrované, ale nebyly nijak zvlášť užitečné, protože bez DNS byly Facebook a související služby fakticky nedostupné.

Cloudflare díky velikosti své sítě a faktu, že přes ni proudí významná část internetového provozu, má velký přehled o tom, jak je internet propojen a kudy má provoz proudit z a do všech míst planety. Mimo jiné jsou sledovány všechny aktualizace a oznámení BGP. Zpráva BGP UPDATE informuje směrovač o všech změnách, které byly provedeny v inzerci prefixu nebo stažení celého prefixu. Po zjištění problémů byla provedena kontrola časových řad BGP. Obvykle je tento graf celkem klidný, jelikož Facebook neprovádí příliš mnoho změn z minuty na minutu. Okolo 15:40 byla zaznamenána špička v množství změnových požadavků a v tu chvíli začaly potíže.

Obr. 1: Na grafu je okolo 15:40 zřejmá špička v množství změnových požadavků BGP konfigurace Facebooku. V tu chvíli začaly potíže.

Pokud tento pohled rozdělíme podle oznámení a stažení tras, získáme ještě lepší představu o tom, co se stalo. Trasy byly staženy, servery DNS společnosti Facebook byly offline. Tímto stažením se Facebook a jeho stránky fakticky odpojily od Internetu a v přímém důsledku přestaly DNS resolvery po celém světě překládat názvy jejich domén.

Vzhledem k tomu, že společnost Facebook přestala oznamovat své trasy prefixů DNS prostřednictvím protokolu BGP, neměly DNS resolvery Cloudflare ani resolvery ostatních uživatelů možnost připojit se k jejich nameserverům. V důsledku toho začaly 1.1.1.1, 8.8.8.8 a další hlavní veřejné DNS resolvery vydávat (a ukládat do mezipaměti) odpovědi SERVFAIL.

Dopad na další služby

To ale není všechno. Nyní nastupuje lidské chování a aplikační logika a způsobuje další exponenciální efekt. Následuje totiž tsunami dalšího provozu DNS.

Jedním z důvodů je to, že aplikace nechtějí přijmout chybu jako odpověď a začnou požadavky opakovat, někdy i agresivně, druhým důvodem pak to, že koncoví uživatelé také nechtějí přijmout chybu jako odpověď a začnou znovu načítat stránky nebo ukončovat a znovu spouštět své aplikace, někdy také agresivně. Na obrázku 2 je vidět nárůst provozu (v počtu požadavků), který byl zaznamenán u služby 1.1.1.1.

Obr. 2: Nedostupnost vedla k tsunami dalšího provozu DNS kvůli opakovaným požadavkům aplikací i uživatelů.

Lidé se obvykle nechtějí spokojit s tím, že něco nefunguje, ale zkouší různé alternativy. Také hledají informace o výpadcích, chtějí o problému diskutovat s ostatními. Cloudflare zaznamenal výrazně zvýšený počet DNS dotazů na Twitter, Signal a další platformy pro zasílání zpráv a sociální média.

Vyřešeno?

Okolo 21:00 UTC byla zaznamenána obnovená BGP aktivita ze sítě společnosti Facebook, vrchol v počtu změnových požadavků byl v 21:17 UTC. Následně byla obnovena možnost resolvovat adresy domén Facebooku a ten byl tedy znovu připojen k internetu. Je pochopitelné, že ještě nějakou dobu vždy trvá, než se služby stabilizují a jsou dostupné v obvyklém měřítku.

Celý výpadek tedy trval přibližně pět a půl hodiny a měl by pro nás být připomínkou, že Internet je velmi komplexní a navzájem závislý systém vzájemně propojených systémů a protokolů. Připomínkou toho, že standardizace a spolupráce mezi subjekty jsou ústředním prvkem fungování Internetu pro téměř pět miliard aktivních uživatelů celosvětově. A nakonec také připomenutím toho, že když může zkolabovat Facebook, může snadno dojít k výpadku i běžných firemních webových aplikací, typicky e-shopů, a způsobit podobně závažné ztráty.

Michal Hebeda Autor článku je Sales Engineer pro řešení Cloudflare ve společnosti ZEBRA SYSTEMS.