Major Datacenter Outage door Blikseminslag: Oorzaak, Impact en Herstel

Gisteren werd ons datacenter getroffen door een ernstige storing als gevolg van zware onweersbuien, wat resulteerde in een outage van vier uur. Hieronder volgt een uitgebreide uitleg van de gebeurtenissen, de genomen herstelmaatregelen en de stappen die we zetten om toekomstige incidenten te voorkomen.

Wat is er gebeurd?
Tijdens de zware onweersbuien (code oranje) werden drie blikseminslagen geregistreerd die rechtstreeks ons datacenter raakten. Deze inslagen veroorzaakten schade aan twee hoofdzekeringen, wat leidde tot automatische uitschakeling van de overige zekeringen vanwege overbelasting. Hoewel we een noodstroomvoorziening hebben, raakte generator 3 beschadigd door de blikseminslag, wat ook generator 4 onbruikbaar maakte. Bovendien waren generatoren 1 en 2 niet volledig bijgetankt vanwege een eerdere storing, waardoor de volledige load niet kon worden opgevangen.

Duur en Impact van de Outage
De outage duurde in totaal vier uur en trof alle diensten. Alle klanten ervoeren hierdoor een volledige onderbreking van hun diensten.

Herstelmaatregelen
Ons team reageerde onmiddellijk en stelde een prioriteitenlijst op om de diensten van de meest kritieke klanten eerst te herstellen. We hosten bijvoorbeeld het volledige communicatiesysteem van een hotel dat tijdens de storm dringend behoefte had aan onze diensten. We haalden lokaal diesel om hun diensten te migreren naar ons migratiedatacenter. Tegelijkertijd begon de gebouweigenaar met het herstel van de hoofdzekeringen.
Extra diesel werd besteld om de generatoren volledig operationeel te krijgen, voor het geval de zekeringen niet snel hersteld konden worden. Toen de migratie van de hotelklant voltooid was, begonnen we met het migreren van zoveel mogelijk andere klanten. Tegen de tijd dat de extra diesel werd geleverd, was een van de hoofdzekeringen hersteld, waardoor we konden beginnen met het opstarten van alle diensten. Na vier uur waren alle diensten weer volledig operationeel.

Toekomstige Preventie
We hebben maatregelen genomen om ervoor te zorgen dat noodstroomgeneratoren sneller worden bijgevuld na gebruik. Bovendien wordt een extra generator aangeschaft om in geval van storingen bij te springen, zodat we altijd vier operationele generatoren hebben. De gebouwbeheerder onderzoekt momenteel hoe de bliksem de hoofdzekeringen kon beschadigen.

Reactie van het Team
Ons crisisteam werd onmiddellijk geactiveerd na het geautomatiseerde alarm. Datacenter engineers gingen direct naar het datacenter, terwijl onze COO de communicatie met klanten overnam. In samenwerking met de CEO werd een noodplan opgesteld en aangepast om de diensten zo snel mogelijk weer online te krijgen. We zijn trots op de snelle en effectieve reactie van ons team.

Bericht aan onze Klanten
We betreuren de overlast die deze storing heeft veroorzaakt en begrijpen dat dit niet is wat klanten van onze dienstverlening mogen verwachten. We doen er alles aan om soortgelijke storingen in de toekomst te voorkomen en hopen dat we het vertrouwen van onze klanten niet hebben geschaad.

We danken onze klanten voor hun geduld en begrip tijdens deze uitdagende situatie.