Drie keer geen stroom op een luchthaven

Incidenten de stroomvoorziening trekken de aandacht omdat de impact daarvan niet verhuld kan worden. Daarnaast heeft iedereen inmiddels in de gaten dat het lang kan duren eer de afgeleide schade is verholpen. De luchthavens van Amsterdam, Hamburg en London zijn daar drie recente voorbeelden van.

Schiphol

Wat we inmiddels weten over de tweede stroompanne van Schiphol (de eerste was op 24 februari, de tweede op 29 april) is dat dat de luchthaven zwaar tekort geschoten is bij het treffen van noodstroomvoorzieningen. Door geen serieuze eisen te stellen aan de tijdelijke noodstroom was het onvermijdelijk dat een incident elders in het netwerk tot een kettingreactie moest leiden. Het gevolg was dat de luchthaven een dag plat lag en het wegwerken van de achterstanden nog veel langer duurde. Hoewel het rapport van TNO niet openbaar is gemaakt valt uit het persbericht het nodige op te maken. Zo is de opmerking dat de luchthaven een technisch incidententeam gaat samenstellen niet anders dan de bevestiging wat al werd vermoed en wat ook elders te vaak voorkomt. Pas als het kalf verdronken is dempt men de put. Dat betekent tegenwoordig: pas na de black-out of het datalek komt er budget vrij om herhaling te voorkomen.

Hamburg

De oorzaak van de stroomstoring op het luchthaventerrein van Hamburg is veel eerder gevonden en beschreven. Van zondag op maandag 3-4 juni moest de luchthaven dicht omdat er geen stroom was. Een dag later was de bevestigde oorzaak al in de pers te lezen. De oorzaak van deze panne was het uitvallen van de noodstroom, wat bij een luchthaven van deze omvang een eigen lokale centrale is. De normale stroomvoorziening was intact, maar zonder noodstroom productie werden de noodaggregaten niet gevoed. Een automatische shutdown van alle IT vond plaats om te voorkomen dat na herstel overbelasting zou plaatsvinden. Het verhaal is daarmee zo duidelijk als het maar kan. Circa 200 vluchten vielen uit of moesten worden omgeleid. De chaos was groot.

Schiphol en Hamburg hebben verschillende storingen gehad en toch is er, buiten de chaos, een punt van overeenkomst. De oorzaak lag intern, er zijn (tot zo ver bekend) geen koppen gerold en veel meer dan een excuus naar de reizigers en toezeggingen over meer techniek en teams is er niet te lezen.

London

Iets verder terug in de tijd, 27 mei 2017, is de derde case. Hierbij gaat het om een zeer lokale stroompanne bij BA. De Britse vervoerder kon die dag 75.000 passagiers niet vervoeren en de bagage van een grote groep bleef lang een probleem. De oorzaak was een black-out in het datacenter van BA. Geen stroom in het DC, dus geen toegang tot de reserveringen en alle andere processen die het bedrijf nodig heeft. Hoewel er weer verdacht snel stroom in het datacenter was leidde dat niet tot werkende machines. Het veroorzaakte schijnbaar de meeste schade. Wie dat leest vermoedt al wat er aan de hand kan zijn geweest. Binnen een week sijpelde door dat het voorval samenviel met gepland onderhoud door een derde partij die de verkeerde switch heeft omgezet.

Het black-out voorval van BA is daarmee anders dan Schiphol en Hamburg. Daar was geen sprake van menselijk handelen als oorzaak. Wat ook anders is aan de zaak is wat vorige week nog iets is doorgesijpeld. De Britten hebben namelijk de datacenter beheerder, CBRE voor de rechter gedaagd. CBRE zegt mee te werken aan het nog lopende onderzoek en onthoudt zich van verder commentaar. Dat is ook begrijpelijk want “turning it off and on again” heeft in dit geval een prijskaartje van £58 miljoen.

De link tussen deze drie voorvallen en de hosting- en datacentersector hoeft waarschijnlijk niet verder te worden uitgelegd. De lessen die hieruit getrokken kunnen worden zijn ook glashelder.