I natt inträffade vad som redan kallas historiens största IT-haveri. En felaktig uppdatering från säkerhetsföretaget CrowdStrike fick Windows-datorer världen över att krascha med blåskärm – och de kom inte upp igen av sig själva.
Vad hände?
CrowdStrikes säkerhetsprodukt Falcon, som används av en enorm mängd företag, fick under natten en automatisk innehållsuppdatering med en defekt fil. Eftersom Falcon kör med djupa rättigheter i Windows-kärnan resulterade felet i en blåskärm – och en omstartsloop som inte gick att ta sig ur utan manuell handpåläggning. Microsoft uppskattar att runt 8,5 miljoner Windows-maskiner drabbades.
Konsekvenserna
Flygbolag fick ställa in tusentals avgångar, sjukhus sköt upp operationer, banker och TV-kanaler stod stilla. Här hemma drabbades bland annat butikskedjor och flygplatser. Det ironiska är svårt att missa: ett verktyg som ska skydda mot driftstopp orsakade det största driftstoppet någonsin.
Fixen var manuell
Lösningen krävde att man startade varje drabbad maskin i felsäkert läge och raderade den defekta filen (C-00000291*.sys i CrowdStrikes katalog). Enkelt på en dator – men en mardröm för IT-avdelningar med tiotusentals maskiner, varav många med BitLocker-kryptering som krävde återställningsnycklar.
Mina lärdomar
- Automatiska uppdateringar direkt till produktion, hos alla kunder samtidigt, är ett systemfel i sig. Stegvis utrullning borde vara ett krav.
- Monokultur är farligt – när halva världen kör samma agent i Windows-kärnan blir ett enda fel globalt.
- Ha era BitLocker-återställningsnycklar tillgängliga även när systemen ligger nere. Många upptäckte i natt att nycklarna låg i system som också var nere.
Det här kommer att studeras i åratal framöver, och jag återkommer säkert i ämnet. Hur drabbades ni? Kommentera gärna nedan.
