Gmail-problemen na 4 dagen eindelijk verholpen

Google heeft de problemen met verloren e-mails bij Gmail donderdagochtend na vier dagen helemaal opgelost. Alles moest worden teruggehaald van tapes.

De Gmail-storing deed zich zondag voor en trof toen 0,29 procent, 870.000 accounts, van de zeker 300 miljoen Gmail-gebruikers wereldwijd. Getroffen gebruikers kregen lege inboxen te zien. Google-medewerkers waren dagenlang druk bezig verloren gegane mails te herstellen.

Donderdagochtend verscheen op Google's App Status Dashboard de mededeling dat "het probleem met Google Mail nu moet zijn opgelost". "We bieden onze excuses aan voor het ongemak en bedenken jullie voor het geduld. Wees gerust dat de betrouwbaarheid van onze systemen een topprioriteit is. We doen continu verbeteringen om onze systemen te verbeteren", luidt de boodschap op tien voor 8 's ochtends Nederlandse tijd.

Tapes
Het herstellen van de fout duurde langer dan verwacht doordat alle kopieŽn van de Gmail-data waren gewist. De informatie bevond zich niet meer in de Google-cloud. Dit is gebeurd ondanks de voorziening van Google om meerdere kopieŽn van Gmail-inboxen te bewaren in verschillende datacenters. "Sommige kopieŽn van de mails zijn gedelete", aldus Google.

Google moest terug naar het laatste redmiddel: tapes. Dat opslagmedium wordt niet live gesynchroniseerd en kan dus niet gelijk getroffen worden door bugs zoals deze. Het terugzetten van de data vanaf tapes duurt wel aanzienlijk langer dan het terugzetten van een backup die zich in een ander datacenter bevindt.

Mislukte storage-update
Volgens Google is de bug veroorzaakt door de installatie van een storage-update. Na het ontdekken van het probleem werd de uitrol (deploy) van die update onmiddellijk stopgezet en teruggedraaid voor die locaties waar het al was geÔnstalleerd. Dat ingrijpen kon niet voorkomen dat een deel van de Gmail-gebruikers tijdelijk was buitengesloten van hun accounts.

Mensen die werden getroffen door het probleem hebben waarschijnlijk geen e-mail ontvangen in de tijd dat er gewerkt werd aan het terugzetten van de data, waarschuwt Google.

'Communicatie was goed'
Ondanks de blunder oogst Google ook lof voor de manier waarop het bedrijf over de storing heeft gecommuniceerd via zijn App Status Dashboard. "Wanneer een cloudprovider met downtime kampt, moet een leverancier zijn gebruikers op de juiste manier informeren en proberen gerust te stellen. Als dit verkeerd gaat, verliest het klanten die nooit meer terug zullen keren. Ik geef Google een 8 op dit gebied", schrijft securityconsultant Leon Erlanger bij Computerworld.

Het aantal getroffen gebruikers werd later naar beneden bijgesteld door Google. "De enige valse noot in de communicatie van Google was het bagatelliseren van de storing door te zeggen dat 'slechts' 0,08 procent van de gebruikers offline was gegaan. Nieuwssites vertaalden dit snel naar ongeveer 150.000 gebruikers. Daarna meldde Google opeens een percentage van 0,02, waarna sites melding gingen maken van 40.000 getroffen accounts. Helaas werd daardoor eventjes onterecht wat paniek gezaaid."

Hotmail-storing
Andere media trekken een vergelijking met hoe Microsoft communiceerde over zijn Hotmail-storing eind december. "Microsoft liet pas na vier dagen weten dat het probleem na drie dagen was opgelost", aldus InfoWorld.