In den letzten Tagen habe ich Berichte über Systemausfälle bei Microsoft, der FAA, United Airlines, Chase und Amtrak gelesen. Außerdem habe ich Freunde, Familienangehörige und Mitarbeiter angerufen, die von den Störungen betroffen waren, um mich zu erkundigen, ob es ihnen gut geht und wie sie nach Hause kommen.
Das Wort „Ausfall“ bekommt eine ganz andere Bedeutung, wenn jemand, der einem am Herzen liegt, am Flughafen festsitzt. Hinter der technischen Erklärung verbergen sich müde Kinder, ältere Passagiere, die in der Schlange warten, verpasste Anschlussflüge und Pläne, die ins Wasser fallen. Für ein Unternehmen kann dies verlorene Aufträge, verspätete Zahlungen und einen verlorenen Arbeitstag bedeuten.
Ich bin Gründer und Geschäftsführer von OPSWAT, einem Cybersicherheitsunternehmen, das sich auf den Schutz kritischer Infrastrukturen spezialisiert hat. Außerdem bin ich Pilot mit Instrumentenflugberechtigung. Wenn ich mir diese Vorfälle anschaue, stelle ich mir immer wieder dieselbe Frage: Warum wenden wir nicht mehr von den Denkansätzen, die den Betrieb eines Flugzeugs gewährleisten, auf die Infrastruktur an, auf die wir uns täglich verlassen?
Ein Flugzeug vereint Antrieb, Navigation, Kommunikation und Flugsteuerung auf bemerkenswert kleinem Raum. Diese Systeme arbeiten zusammen – manchmal unter schwierigen Bedingungen –, und das Leben von Menschen hängt von ihnen ab.
Das Konzept geht davon aus, dass es zu Fehlern kommen wird. Ein großer Teil der Pilotenausbildung besteht darin, diese Fehler zu erkennen und zu wissen, wie man darauf reagiert. Man übt, solange man noch den Luxus hat, Fehler machen zu dürfen.
Nehmen wir zum Beispiel den Strom. Ein Generator erzeugt Strom für das Flugzeug. Ja, damit lässt sich vielleicht Ihr iPhone aufladen, aber mir ist es wichtiger, dass die Funkgeräte und Fluginstrumente funktionieren.
In einem Flugzeug, das mit zwei Lichtmaschinen ausgestattet ist, kann eine davon die wesentlichen Verbraucher versorgen, falls die andere ausfällt. Falls beide ausfallen, können die Batterien eine begrenzte Betriebszeit gewährleisten. Sie reduzieren die Last und nutzen diese Zeit, um die Notsituation zu bewältigen.
Wichtig ist, dass eine Lichtmaschine und eine Batterie unterschiedlich funktionieren. Die eine erzeugt Strom, die andere speichert ihn. Die Batterie bietet Ihnen eine weitere Möglichkeit, wichtige Geräte am Laufen zu halten, wenn die Stromversorgung ausfällt.
Dieser Gedankengang geht noch weiter. Airbus hat Steuerungskonzepte dokumentiert, bei denen in Primär- und Sekundärcomputern unterschiedliche Hardware und Software zum Einsatz kommen, darunter auch einfachere Sekundärsysteme. Ziel ist es, das Risiko zu verringern, dass ein einziger Defekt alle Möglichkeiten zur Ausführung einer kritischen Funktion außer Kraft setzt.
Normalerweise nehme ich mein iPad mit ForeFlight zusätzlich zu den bereits im Flugzeug vorhandenen Instrumenten mit. Es ist eine ergänzende Hilfe, deren Funktionen von den angeschlossenen Sensoren abhängen, und ich muss mir über seine Grenzen im Klaren sein. Dennoch gibt es mir ein gewisses Gefühl der Sicherheit, eine weitere Quelle für Fluginformationen zu haben – auf einer anderen Hardware mit eigenem Akku.
Betrachten wir nun dieselbe Frage im Bereich der IT, bei kritischen Systemen und kritischer Infrastruktur. Diese Systeme müssen Leben oder Freiheit sichern, wie beispielsweise ein Flugzeug, daher sollten wir denselben Ansatz beim Design verfolgen.
Wenn mein Hauptsystem und mein Backup dieselbe Software ausführen, dieselben Updates erhalten und auf dasselbe Netzwerk angewiesen sind, wie unabhängig sind sie dann voneinander? Die Verlagerung eines Systems in ein anderes Gebäude beseitigt keinen Fehler im Code. Eine zweite Cloud kann weiterhin vom selben Identitätsdienst oder derselben Datenquelle abhängig sein.
Wir können ein System klonen und dabei auch dessen Schwachstellen mitübertragen.
Wenn derselbe Ausfall beide Systeme lahmlegen kann, haben wir dann wirklich ein Backup?
Die jüngsten Vorfälle zeigen, warum diese Frage wirklich wichtig ist.
Microsoft, 12. und 13. November
Ihr vorläufiger Bericht beschreibt einen verborgenen Softwarefehler, erhöhten Gateway-Datenverkehr und verminderte Kapazität. Die Umleitung des Datenverkehrs von ausgefallenen Servern trug dazu bei, den Ausfall auf andere Server mit derselben Schwachstelle auszuweiten. Microsoft verfügte bereits über verschiedene Gateway-Architekturen, doch einige Dienste, darunter Exchange Online, konnten nicht in dem erforderlichen Umfang auf die Alternative umgestellt werden. Ich weiß die von Microsoft veröffentlichten Details zu schätzen. Die Erkenntnis aus dem Vorfall bei „ My “ lautet, dass Unabhängigkeit und Kapazität gemeinsam getestet werden müssen. Ich bin der Meinung, dass eine alternative Architektur die wesentlichen Aufgaben als „Hot Backup“ übernehmen muss, wenn sie tatsächlich benötigt wird.
FAA, 13. November
Die FAA beschrieb eine Netzwerküberlastung während der Arbeiten zum Austausch von Routern. Durch die Sperrung von zwei mutmaßlichen Ursprungsorten konnte das Netzwerk stabilisiert werden. Fluglotsen und Piloten sorgten für die Aufrechterhaltung der Sicherheit, doch der Startverkehr kam landesweit zum Erliegen. Die Ursache wird noch untersucht, und die FAA erklärt, dass SMART (Strategic Management of Airspace, Routes and Trajectories) in keinem Zusammenhang mit dem Vorfall stand. Die Frage hinsichtlich der Architektur lautet: Wie konnte sich ein Problem an einer kleinen Anzahl von Standorten so weit ausbreiten, und durch welche zusätzlichen Isolierungsmaßnahmen und unabhängigen Kommunikationswege hätte der Flugbetrieb sicherer aufrechterhalten werden können? Sollten wir uns jedoch auch fragen, was zum Zusammenbruch der bestehenden Architektur geführt hat und wie SMART als Ursache ausgeschlossen wurde?
Amtrak, 13. November
Es kam zu Buchungsproblemen, während gestrandete Fluggäste nach Alternativen suchten. Amtrak führte dies auf eine Systemaktualisierung und eine gestiegene Nachfrage zurück, obwohl die genaue technische Ursache weiterhin unklar ist. Dies ist ein Szenario, das ich in jede Notfallübung einbauen würde: Wenn ein Teil unserer Infrastruktur ausfällt, weichen die Menschen auf einen anderen aus. Das nächste System muss auch für diese Menschen Kapazitäten bereitstellen.
United, 16. November
Reuters berichtete, dass eine Systemstörung mehrere Crew-Anwendungen beeinträchtigte und United daran hinderte, die endgültigen Flugzeuggewichte für abfliegende Flüge bereitzustellen. Die zugrunde liegende technische Ursache ist nach wie vor nicht bekannt. Man stelle sich das einmal vor: Das Flugzeug, die Besatzung und die Passagiere können alle bereit sein, doch der Flug kann ohne wesentliche Informationen nicht starten. Jede Alternative muss über aktuelle, genaue Beladungsdaten verfügen. Das gestrige Backup würde nicht ausreichen. Wir müssen ein funktionierendes System mit aktuellen Daten wiederherstellen.
Chase, 16. November.
Ein interner Softwarefehler führte zu Verzögerungen bei Transaktionen, darunter auch Zahlungen, an denen andere Banken beteiligt waren. In diesem Fall muss bei der Wiederherstellung die Finanzbuchhaltung gewahrt bleiben. Eine schnelle Umstellung hilft nur, wenn die Zahlungen verbucht sind, die Salden stimmen und Transaktionen nicht doppelt verarbeitet werden. Dies muss unter realistischen Transaktionsvolumina nachgewiesen werden.
Es handelt sich um unterschiedliche Vorfälle, und wir sollten mit Schlussfolgerungen vorsichtig sein, solange die Ermittlungen noch andauern. Aber es gibt hier bereits reichlich Stoff, den wir in unsere eigenen technischen Diskussionen einbringen können.
Und nun integrieren wir KI in die Systeme, auf die wir angewiesen sind.
Schon die Wiederherstellung einer herkömmlichen Anwendung kann schwierig sein. Ein KI-gestütztes System umfasst zusätzlich ein Modell, eine Laufzeitumgebung, Data Lakes und Pipelines, deren Zusammenhänge sich nur schwer entwirren lassen, wenn etwas schiefgeht. Selbst wenn das Modell unverändert bleibt, können sich die Daten und der Betriebskontext ändern. Bei der Wiederherstellung einer früheren Version des Codes kann es vorkommen, dass Komponenten zurückbleiben, die nicht mehr korrekt zusammenarbeiten.
Die Software kann wieder laufen, obwohl das System weiterhin falsche Empfehlungen ausspricht.
Deshalb betrachte ich ein KI-System als eine lebendige Betriebsumgebung. Wiederherstellung bedeutet, zu verstehen, was sich verändert hat, kompatible Komponenten wiederherzustellen und das Verhalten zu überprüfen, bevor man sich erneut darauf verlässt.
Die Menschen benötigen den Service auch während dieser Arbeiten weiterhin.
Was unsere wichtigsten Funktionen angeht, sollten wir meiner Meinung nach eine separate Implementierung auf einer anderen Architektur in Betracht ziehen, die bereits läuft und bereit ist, die Aufgaben zu übernehmen. Das könnte eine andere KI-Plattform sein. Es könnte sich auch um ein einfacheres, herkömmliches System handeln, das den wesentlichen Betrieb aufrechterhalten kann.
Die Unabhängigkeit muss über die Anwendung hinausreichen. Andere Software im selben fehlerhaften Netzwerk ist möglicherweise weiterhin nicht verfügbar. Zwei verschiedene Modelle, die dieselben fehlerhaften Daten verwenden, können dennoch fehlerhafte Ergebnisse liefern. Wir müssen den gesamten Pfad untersuchen, von dem der Dienst abhängt. Wir müssen denselben Ansatz verfolgen, den ich am Beispiel der Airbus-Cockpit-Architektur beschrieben habe.
Ich weiß, dass dies Geld kostet und den Aufwand erhöht. Die Alternative benötigt nicht alle Funktionen des Hauptsystems. Ähnlich wie die Batterie in einem Flugzeug muss sie die wesentlichen Funktionen für einen bestimmten Zeitraum aufrechterhalten, wobei eine andere Architektur zum Einsatz kommt.
Entscheiden Sie zunächst, was weiterlaufen muss, in welchem Umfang und wie lange. Wenn der Betrieb nur Unterbrechungen im Millisekunden- oder Sekundenbereich tolerieren kann, wird dies zu einer technischen Anforderung, die wir nachweisen müssen. Die Wiederherstellung aller anderen Funktionen kann länger dauern.
Führen Sie anschließend unter kontrollierten Bedingungen eine Belastungsprüfung des Systems durch. Schalten Sie die KI aus. Trennen Sie die Netzwerkverbindung. Führen Sie veraltete Daten, einen fehlerhaften Patch oder einen Cyberangriff ein. Testen Sie dies, wenn die Backup-Kapazität bereits teilweise ausgefallen ist. Beobachten Sie, was passiert, wenn echte Menschen den Übergang bewältigen müssen, und prüfen Sie, ob der Dienst weiterhin nutzbar und fehlerfrei bleibt.
Im Cockpit muss ich wissen, was nach einem Ausfall noch funktioniert, wie lange es noch funktionieren wird und was ich als Nächstes tun muss. Diese Antworten brauche ich, bevor ich abhebe.
Die Familien, die versuchen, nach Hause zu kommen, und die Unternehmen, die auf Zahlungen warten, verdienen von uns dieselbe Vorbereitung.
Fragen Sie Ihr Team bei Ihrer nächsten Führungskräftesitzung: „Wenn unser Hauptsystem gerade jetzt ausfallen würde, was würde dann weiterhin funktionieren, und könnte derselbe Ausfall auch das lahmlegen?“
Setzen Sie sich eingehend mit dem detaillierten Design und der Architektur auseinander und versuchen Sie, Schwachstellen aufzudecken. Ausfall der Server , Ausfall der Kommunikation, ein Cybervorfall. Handelt es sich um ein KI-System wie SMART, analysieren Sie dessen Komponenten. Gehen Sie davon aus, dass es außer Kontrolle geraten könnte, begrenzen Sie die Bandbreite und halten Sie ein zweites System mit einer anderen Architektur bereit, falls das gesamte System ausfällt.
Dann bitte sie, es dir zu zeigen.
Der nächste Stromausfall sollte nicht erst der Moment sein, in dem wir herausfinden, ob das Backup funktioniert.
