Disaster Day
Vrijdag 17 juni deden we bij Infi Amsterdam de jaarlijkse ‘disaster day’ simulatie. Een goede gelegenheid om gekke brandweerhoedjes te dragen, maar wel met een serieuze ondertoon.
Wat als…
Wat als stomtoevallig je data center overstroomt? Wat als Microsoft ineens failliet zou gaan? Wat als iemand met dikke vingers (zoals 1 van onze collega’s ooit) alle databases van een klant zou wissen?
Idealiter is er up-to-date infra- en backup-documentatie beschikbaar en kan je een backup-restore doen. Dit moet natuurlijk wel allemaal gecheckt worden, vandaar deze dag.
Cool, maar hoe ging dat dan?
Doel van de dag was allereerst om voor alle (Amsterdamse) klanten te onderzoeken hoe het gesteld is met de documentatie. Eventuele ontbrekende informatie kon dan direct aangevuld worden. Na afloop van dit onderdeel werd voor iedere klant ook daadwerkelijk een backup-restore gedaan, waarbij deze werd vergeleken met de bestaande productie-omgeving om te kijken of er niets ontbrak.
Rutger, aan wiens brein deze dag was ontsproten, had een checklist per project voorbereid en wees koppels van twee aan. Deze koppels mochten vervolgens een klant uitkiezen en daarmee aan de slag.
En, nog wat ontdekt?
Geen grote bevindingen (we zijn namelijk heel goed in ons werk). Wel bleek hier en daar documentatie nog wat bijgewerkt te moeten worden, maar dat is dan ook precies waar deze dag voor is bedoeld. Ook leerden we dat Eventstore cloud backup echt retesimpel en eenvoudig werkt (wel even vragen of je ook zelf een kopie kan krijgen want anders hou je een single point of failure).
Tegen 3 uur ‘s middags leek de dag ongepland een zeer realistische component te krijgen na een aankondiging dat de stroom in het gebouw waar wij werken eraf zou worden gehaald. Gelukkig bleek dat alleen de buren te treffen. Al met al een zeer leuke, nuttige en vooral ook leerzame dag!
