Über MetaDefender Cloud
MetaDefender Cloud ist die Cloud-basierte, fortschrittliche Plattform von OPSWATzur Abwehr von Bedrohungen und zur Analyse von Malware. Unsere einzigartige Kombination aus Deep CDR in Verbindung mit Multiscanning von über 20 der besten AV-Engines schützt Unternehmen vor Zero-Day-Angriffen und immer raffinierterer Malware. Die Sandbox von MetaDefender Cloudin Kombination mit Echtzeit-Hash-, IP- und Domain-Analysen unter Verwendung der erstklassigen Threat-Intelligence-Datenbank von OPSWAThilft Malware-Forschern und bietet ein tiefes Verständnis für bestehende und potenzielle Bedrohungen.
Die MetaDefender Cloud unterstützt derzeit mehr als 5 Millionen Scan-Anfragen pro Tag von unseren Kunden und bietet ihnen dennoch eine durchschnittliche Scan-Zeit von 0,4 Sekunden.
Warum haben wir MetaDefender as a Service (MDaaS) entwickelt?
Die Anforderungen des Marktes erfüllen und unsere Kunden besser unterstützen
Wir wollten sicherstellen, dass MetaDefender Cloud skaliert werden kann, um den sich ändernden Anforderungen und dem wachsenden Bedarf an fortschrittlichen Anwendungssicherheitsdiensten und der zunehmenden Komplexität von DevOps Security gerecht zu werden, da immer mehr Anwendungen in die Cloud verlagert werden. Mit der Zunahme des Dateiverkehrs war es eine Notwendigkeit, dass MetaDefender Cloud seine Leistung beibehält und verbessert, um eine reibungslose Benutzererfahrung für unsere Endkunden zu gewährleisten.
Verbesserung der Überwachung und prädiktiven Skalierung
Wir haben beschlossen, unsere lokale Architektur auf Cloud-natives Kubernetes zu migrieren, das auf Microservices mit Infrastructure-as-Code basiert, um eine nahtlose und konsistente Erfahrung im Vergleich zum aktuellen Bereitstellungs- und Überwachungsmodell bieten zu können.
MetaDefender Architektur als Dienstleistung
Bei der Migration zu MDaaS wurden unsere Multiscanning Dienste von der Windows-basierten AMI auf einen Kubernetes-basierten Cluster verlagert. Die Administratoren können nun die Skalierbarkeit pro Engine konfigurieren. Da die Leistung der Engines unterschiedlich ist, kann die langsamere(n) Engine(s) hochskaliert werden, um schnelle Scanzeiten zu erhalten.
Der Ablauf der Dateiverarbeitung sieht nun wie folgt aus:
Eine Nachricht von einem externen Anforderer wird an ein Kafka-Thema "Anfrage" (1) mit Anforderungsanweisungen gesendet, z. B. Scannen einer Datei mit AV1, AV2 usw., Bereinigen der Datei mit Deep CDR und Analysieren der Datei mit Sandbox usw.
(2) Danach teilt ein Lambda-Extraktor (2), der den Empfang der Nachrichten abonniert, die Anfrage in eine Reihe verschiedener Befehle auf und sendet sie an ein anderes Kafka-Thema (3), wo sie dann klassifiziert und der/den entsprechenden Engine(s) zugewiesen werden. (4)
(3) Die Engine-Verarbeitung (4) ist das Herzstück des Systems. Sie enthält mehrere Engine-Container, läuft auf Amazon Elastic Kubernetes Service (EKS) und kann je nach Arbeitslast ein- oder ausgeschaltet werden. Jede Engine bearbeitet eine bestimmte Anforderung, die die Verarbeitungsleistung steigert.
4 Während des Prozesses wird auch ein S3-Bucket (5) verwendet, um die Eingabe- und Ausgabedateien zu speichern.
5 Gleichzeitig empfängt ein verfügbares Protokollverarbeitungsmodul (6) das Protokoll von den Engines und liefert es an ein Protokollanalysesystem.
6) Nach der Dateiverarbeitung wird das Ergebnis jeder Engine an das Kafka-Thema "Ergebnisse" (7) zurückgegeben.
Anschließend fasst ein Microservices-Aggregator mit AWS Lambda (8) die Ergebnisse in einem Bericht zusammen und sendet ihn an ein Kafka-Thema (9), das an den Anfragenden zurückgeht.
Technische Herausforderungen und Lösungen
Vorhersage des Motorverhaltens und Umgang mit Anomalien
Die herkömmliche MD Core AMI Bereitstellung ermöglicht es den Engines, auf einem leistungsstarken Computer zu laufen, wo sie die Ressourcen (CPU, RAM, Festplatte, Netzwerk usw.) gemeinsam nutzen können. Bei der Microservices-Architektur hingegen läuft jede Engine einzeln in einem weniger leistungsfähigen Container. Daher war es für uns in diesem Fall schwierig, die Ressourcenanforderungen des Systems zu definieren.
Um dieses Problem zu lösen, verwendeten wir historische Daten aus dem alten System, um eine Basislinie für jede Engine festzulegen, und fügten Datadog-Überwachung hinzu. Wir überwachten das Verhalten der Engines und nahmen eine Feinabstimmung der Infrastruktur vor, bis das Produkt eine hervorragende Leistung erzielte.
Ein ausgewogenes Verhältnis zwischen Leistung und Hosting-Kosten
Mit der neuen Architektur kann MetaDefender Cloud leicht skaliert werden, um sich den grenzenlosen Bedürfnissen unserer Kunden anzupassen und eine optimale Leistung zu erzielen. Allerdings bedeutet dies auch, dass die Wartungskosten proportional ansteigen können. Ohne Ausgabenkontrollen oder Governance-Modelle konnte die Skalierung unkontrollierbar sein und zu höheren Rechnungen für Cloud-Dienste führen, die weit über das ursprünglich zugewiesene Budget hinausgingen.
Daher wurden häufige Architekturüberprüfungen mit den Beteiligten durchgeführt, um konsistente Erfahrungen mit stabilen und ausgewogenen Kosten zu gewährleisten.
Simulation der Umwelt
Die Simulation einer Produktionslast in einer nicht produktiven Umgebung ohne echte Daten ist eine Herausforderung. Um dies zu bewältigen, haben wir parallele Workflows eingerichtet, so dass echte Daten sowohl die alte als auch die neue Architektur durchlaufen, so dass wir die wichtigsten Metriken beider nebeneinander bewerten konnten. Durch diesen direkten Vergleich konnten wir schnell und effektiv feststellen, in welchen Bereichen die neue Architektur der alten überlegen war und wo die neue Architektur verbessert werden musste.
Überwachung, Berichterstattung und Kontrolle
Überwachung der Cloud-Infrastruktur in Echtzeit
MetaDefender Cloud legt großen Wert darauf, ein robustes Monitoring in seine Systeme zu integrieren, um einen klaren Überblick über den Systemzustand zu erhalten. Für einen Dienst wie MDaaS, der mehr als 44 Anfragen pro Sekunde (RPS) bei einer Fehlerrate von 0,6 % verarbeiten kann, auf mehrere vorgelagerte Systeme und Partner-Ökosysteme als Datenverkehrsquelle angewiesen ist und gleichzeitig einen hohen Datenverkehr für verschiedene interne und externe nachgelagerte Systeme erzeugt, ist es wichtig, eine starke Kombination aus Metriken, Warnmeldungen und Protokollierung zu haben.
Warnungen bei hohem abnormalem Datenverkehr durch Umgebungen in Datadog
Zusätzlich zu den standardmäßigen Systemzustandsmetriken wie CPU, Arbeitsspeicher und Leistung haben wir mehrere "Edge-of-the-Service"-Metriken hinzugefügt, z. B. Wachstum in der Warteschlange, Antwortzeit des Dienstes, Status-Cake und Protokollierung, um jegliche Abweichungen von vor- oder nachgelagerten Systemen zu erfassen. Darüber hinaus haben wir Trendanalysen für wichtige Metriken hinzugefügt, um längerfristige Verschlechterungen zu erkennen. Wir instrumentierten MDaaS mit einer Echtzeit-Stream-Processing-Anwendung namens Datadog (mehr darüber erfahren Sie hier). Damit konnten wir Ereignisse in Echtzeit über die Leitung mit containerspezifischer Granularität verfolgen, was die Fehlersuche erleichterte. Schließlich fanden wir es nützlich, dienstspezifische Warnmeldungen zu haben, um die Ursachen von Problemen schneller zu identifizieren.
Erstellung von Vorfällen zu Ausnahmen, die die Aufmerksamkeit von Site Reliability Engineers in Datadog erfordern
SaaS-Monitoring mit der Datadog-Plattform ermöglicht Teams eine schnellere und einfachere Einführung und macht die laufende Wartung, Kapazitätsskalierung, Aktualisierung oder Verwaltung von Tools überflüssig. Diese Vorteile bedeuten, dass die Teams mehr Zeit haben, um am Kernprodukt zu arbeiten und nicht selbst eine Überwachungslösung erstellen müssen.
Ergebnisse
- Durch die Migration zu MDaaS ist der Engine-Microservice nun flexibler, um die moderaten FedRAMP-Anforderungen an die Sicherheitskontrolle zu erfüllen.
- Die Überwachung der Anwendungsleistung wird jetzt durch Echtzeit-Warnungen und Dashboards verbessert. Die neue Microservices-Architektur ermöglicht es Administratoren, die Anwendung und jede Komponente einfach und effektiv zu überwachen. Außerdem erleichtert sie die Bereitstellung und Skalierbarkeit.
- Da die Infrastruktur als Code definiert ist, können die Benutzer die Konfigurationen leicht bearbeiten und verteilen und gleichzeitig den gewünschten Zustand der Infrastruktur sicherstellen. Dies bedeutet, dass Sie reproduzierbare Infrastrukturkonfigurationen erstellen können.
Erfahren Sie mehr über MetaDefender Cloud oder kontaktieren Sie uns für weitere Informationen.
