CenturyLink en het SPOF

De lezer van ISP Today weet dat het onverstandig is netwerken, infra of services zonder redundantie te bouwen en leveren. Elke component die enkelvoudig voorkomt vormt een Single Point of Failure (SPOF) en dat wil men tegen elke prijs voorkomen. Toch gaat dat nog best vaak fout. Ook bij CenturyLink.

Groot door overnames

CenturyLink is een Amerikaans telecom, annex netwerk bedrijf met een internationale footprint. Op de loonlijst staan meer dan 50.000 medewerkers, het is dus een grote speler. Op ISP Today is een twee jaar geleden nog genoemd, dat kwam omdat het Level3 heeft overgenomen. Die overname was de zoveelste in een lange rij en mogelijk een gedeeltelijke verklaring voor het probleem dat rond 27 december 2018 ontstond.

Op die dag wisten alle gebruikers van alle diensten (B2C, B2B, telefonie, IP, tv, et cetera) dat er iets niet in orde was met CenturyLink. Het netwerk was op heel veel plekken zo dood als maar kon. Ook mobiele communicatie in een groot deel van het land vertoonde kuren. Dat kwam om dat CenturyLink zoveel netwerkkabels heeft waar weer andere partijen gebruik van maken. Partijen die de ex-Level3 infra als extra capaciteit inzetten merkten dat het wegvallen daarvan tot capaciteitsproblemen leidden.

911 (onze 122) bellen was voor meer dan 12 uur onmogelijk. Het mag duidelijk zijn dat dit een serieus incident is van een omvang die we in Nederland gelukkig niet kennen.

Oorzaak

De oorzaak is inmiddels bekend:

“The outage was caused by a faulty network management card from a third-party equipment vendor that caused invalid traffic replication … “

aldus CenturyLink. Men geeft zelfs aan dat het om een enkele kaart zou zijn gegaan. Er is dus sprake (geweest?) van een SPOF in de CenturyLink netwerk architectuur en het heeft opmerkelijk lang geduurd eer men die had getraceerd, ondanks het feit dat het netwerk grotendeels plat lag.

Was het meer dan een SPOF?

Een rotte netwerkkaart is vervelend, helemaal als die rond de feestdagen echt gek gaat doen. Het had echter nooit tot een probleem mogen leiden, omdat een beetje netwerk redundantie kent en bij speler van deze omvang verwacht je ook een dual vendor policy pus permanente monitoring. Wat lijkt op een SPOF zou dus wel eens het topje van de ijsberg kunnen zijn. Dat de toezichthouder een onderzoek is gestart naar het uitvallen van 911 in het verzorgingsgebied van CenturyLink is een manier om boven tafel te krijgen hoe dit ooit heeft kunnen gebeuren. De schadeclaims die ingediend worden zullen daar ook een bijdrage aan gaan leveren.

Dat laatste is een reminder waarom het hebben van een SPOF in je netwerk zo onverstandig is. Als je daarom wordt doorgelicht komt er waarschijnlijk meer naar boven dan je lief is.

About the author

ISP Today is het Nederlandstalige platform voor de Internet Service Providers in Nederland. We presenteren nieuws van redactionele kwaliteit met relevantie voor de Nederlandse ISP community. Internet Service Providers en met name de mensen daarachter staan centraal op ISP Today.