Am Sonntag hatten wir seit längerem wieder einmal, einen schwerwiegenden Ausfall zu beklagen. Es ging darum in der Produktion eine zusätzliche, neue Security Box in Betrieb zu nehmen. Die Übung fand um 02:00 Uhr statt. Um 08:00 Uhr war noch alles in Ordnung. Ab 09:30 Uhr hatten wir dann viele Reklamationen. Danach hatten wir die üblichen Probleme bis 11:00 Uhr, wo wir dachten der Service sei wieder völlig in Ordnung. War er aber nicht. Darauf folgte in bewährter Manier ein “Backout”. Um 13:45 waren wir dann wieder im Geschäft.
Die erste Analyse:
Service is restored and we know the root cause. Unfortunately it looks like a dependent change required to deal with a field format leading / trailing zeroes was not correct.
Die Ergänzung vom Project Management Team:
It was a really unfortunate occurance. Upside is it wasn’t a procedure error or key exchange problem. And the fix is already in QA, would help if the guys mention (after having been asked beforehand. We have to do an Application change, when taking the new security box live
Und hier die Selbsteinschätzung unseres Lieferanten:
Supplier has a strong culture of innovation continuously researching best of breed practices and future technologies.
Es ist mir unerklärlich, wie man sich sodarstellen kann. Aber wir werden auch das noch lernen. Es hat auf jeden Fall gezeigt, dass wir wissen, was wir tun müssen. Unsere Reaktionen auf solche Krisen ist ziemlich stabil. Jetzt müssten wir noch lernen, es nicht mehr zu machen. Und darauf freue ich mich ganz besonders.