Die Sicherheit von LLM-Modellen (Large Language Model) umfasst die Überprüfung vortrainierter KI-Modelldateien auf eingebetteten Schadcode, bevor diese in eine Umgebung geladen werden. Modelldateien in Formaten wie Pickle, PyTorch, TensorFlow und Keras können Code ausführen, sobald sie geladen werden, was sie zu einem Risiko in der Lieferkette macht, das mit der Ausführung ungeprüfter Software vergleichbar ist.
Kurzfassung / Wichtigste Erkenntnisse
- Von Hugging Face, Kaggle oder PyPI heruntergeladene vortrainierte Modelle sind ausführbarer Code und keine passiven Daten.
- Laut dem Bericht „State of the Union 2026“ von JFrog unter dem Titel „Software “ (Supply Chain ) beziehen 53 % der Unternehmen Modelle direkt aus öffentlichen Registern, in denen Forscher rund 495 bösartige Modelle identifiziert haben, die zum Diebstahl von Anmeldedaten und zur vollständigen Kompromittierung des Systems fähig sind.
- Formate auf Pickle-Basis (.pt, .pth, .bin, .pkl) führen beim Laden über den REDUCE-Befehl beliebige Funktionen aus – derselbe strukturelle Fehler, der auch bei TensorFlow-Graphen und Keras-Lambda-Schichten auftritt.
- Safetensors entfernt die Ausführungs-Engine vollständig, doch Hunderttausende von Modellen im alten Format sind weiterhin im Umlauf, und eine sichere Datei in einem Repository garantiert nicht, dass auch der Rest dieses Repositorys sicher ist.
- MetaDefender Aether™ überprüft Modelldateien auf fünf Analyseebenen und erkennt dabei Bedrohungen wie gestapelte „Pickle“-Payloads, die bei herkömmlichen Scannern als harmlos eingestuft werden.
Vortrainierte KI-Modelle sind ausführbarer Code, der eine Vertrauensgrenze überschreitet
Der Aufbau eines großen Sprachmodells von Grund auf erfordert Daten, Rechenleistung und Zeit, über die die meisten Unternehmen nicht verfügen. Stattdessen laden Teams vortrainierte Modelle von öffentlichen Plattformen wie Hugging Face, Kaggle und PyPI herunter. Diese Abhängigkeit hat einen Angriffsvektor in der Lieferkette geschaffen, den viele Sicherheitsprogramme nach wie vor übersehen.
Unternehmen prüfen bereits die Open-Source-Bibliotheken und Container-Images, die sie in ihre Umgebungen integrieren. Nur wenige wenden dieselbe Sorgfalt auch auf die KI-Modelle an, die ihre Teams herunterladen, obwohl eine Modelldatei nicht einfach nur eine Tabelle mit Zahlen ist. Je nach Format kann eine Modelldatei ein Programm sein, das sofort nach dem Laden ausgeführt wird.
Allein Hugging Face hostet weit über eine Million Modelle, von denen die meisten noch nie einer Sicherheitsprüfung unterzogen wurden. Laut dem „State of the Union 2026“-Bericht von JFrog unter dem Titel „Software “ (Supply Chain ) beziehen mittlerweile 53 % der Unternehmen Modelle direkt aus öffentlichen Registern, und Forscher haben in diesen Registern rund 495 bösartige Modelle identifiziert, die in der Lage sind, Anmeldedaten zu stehlen, Code auszuführen und das gesamte System zu kompromittieren. Ein LLM-Modell ist ausführbare Software, die eine Vertrauensgrenze überschreitet.
Wie sich modellbasierte Bedrohungen von der Theorie zur Umgehung entwickelt haben
Die Bedrohung entwickelte sich schrittweise: akademische Warnungen, Machbarkeitsnachweise, Missbrauch der Lieferkette in der Praxis und Umgehungstechniken, die darauf abzielten, Scanner zu überlisten.
Die Entwicklung modellbasierter Bedrohungen, 2018–2026
Phase | Zeitrahmen | Was hat sich geändert? | Repräsentative Belege |
Theorie | 2018 | Wissenschaftler warnen davor, dass wiederverwendete, vortrainierte Modelle aus nicht vertrauenswürdigen Quellen manipuliert werden können | Angriffe durch Modellwiederverwendung auf Deep-Learning-Systeme |
Proof of Concept | 2023–2024 | Tatsächlich bösartige Modelle tauchen auf; Pickle-basierte Formate übertragen nachweislich aktive Payloads | star23/baller13, ein Modell mit einer „Reverse Shell“, erschien auf Hugging Face |
In freier Wildbahn | 2024–2025 | Das Volumen steigt, wobei die Lieferungen über Paketregister abgewickelt werden | PyPI-Pakete der Marke Alibaba läuten Angriffe auf die Lieferkette von LLMs ein |
Fortgeschrittene Ausweichmanöver | 2024–2025 | Mehrschichtige, übereinander angeordnete Nutzlasten, die darauf ausgelegt sind, eine schnelle Überprüfung zu vereiteln | Ein „Stacked Pickle“-Proof-of-Concept erzielte bei VirusTotal 0 von 70 Punkten |
Ein sichereres Format | 2023–2026 | Es wird ein reines Datenformat eingeführt, das keinen Code übertragen kann, doch ältere Modelle sind nach wie vor weit verbreitet. | Safetensors wird zum Standard bei der Einführung neuer Modelle |
Pickle- und PyTorch-Dateien führen den Code bereits beim Laden aus
Pickle ist das native Serialisierungsformat von Python und war jahrelang die Standardmethode, um Modelle auf der Festplatte zu speichern. PyTorch hat seine .pt-, .pth- und .bin-Dateien darauf aufgesetzt, und viele Modelle wurden in diesen Formaten veröffentlicht. Heute gibt es sicherere Alternativen, die jedoch als abstrakte Fachsprache abgetan werden. Ein großer Teil der Modelle, die nach wie vor auf öffentlichen Hubs im Umlauf sind, basiert weiterhin auf Pickle, und Teams laden sie täglich.
Pickle speichert mehr als nur Daten. Es handelt sich um einen Befehlsstrom, den eine virtuelle Maschine beim Laden der Datei und beim Rekonstruieren von Python-Objekten ausführt. Der Befehlsstrom kann beliebige Funktionen aufrufen, sodass beim Laden eines Pickle-basierten Modells auch Code ausgeführt werden kann.
Angreifer nutzen die „pickle REDUCE“-Anweisung aus, die den Loader anweist, beim Entpacken eine bestimmte Funktion mit vom Angreifer gewählten Argumenten aufzurufen. Dadurch kann eine Reverse-Shell gestartet, eine Payload der zweiten Stufe platziert oder ein SSH-Schlüssel überschrieben werden, während das Modell weiterhin geladen wird und sich wie eine legitime Datei verhält.
TensorFlow und Keras bergen ähnliche Risiken. Bösartige TensorFlow-Graphen können Operatoren zum Schreiben von Dateien oder für Netzwerkzugriffe in den Berechnungsgraphen einschleusen, während Keras-Lambda-Schichten marshalierten Python-Bytecode enthalten können, der beim Laden deserialisiert wird. Bei beiden Formaten kann eine Datei ausführbares Verhalten enthalten. Da es sich um ein strukturelles Risiko handelt, lässt es sich nicht durch die Behebung eines einzelnen Fehlers beseitigen. Diese Einschränkung hat die Branche dazu gezwungen, ein sichereres Format zu finden.
Vorfälle aus der Praxis machten die Theorie zu einer „ Supply Chain “-Bedrohung
Warnungen vor Angriffen durch die Wiederverwendung von Modellen tauchten erstmals im Jahr 2018 auf. Forscher wiesen später nach, dass dieses Risiko in der Praxis tatsächlich bestand. Im Januar 2024 erschien auf Hugging Face ein Modell namens „star23/baller13“, das eine Reverse-Shell in einer PyTorch-Datei enthielt. Es ermöglichte den Fernzugriff, während es gleichzeitig als gültiges Modell durchging.
Bis Mai 2025 hatte sich die Bedrohung auf den klassischen Bereich der Lieferkette ausgeweitet. Angreifer veröffentlichten PyPI-Pakete mit den Namen „aliyun-ai-labs-snippets-sdk“, „ai-labs-snippets-sdk“ und „aliyun-ai-labs-sdk“, die sich als Alibaba-KI-Toolkit ausgaben und bei der Nutzung unbemerkt ein schädliches Modell luden. Die Pakete blieben weniger als 24 Stunden online, wurden jedoch rund 1.600 Mal heruntergeladen – ein Beleg dafür, dass ein kurzes Zeitfenster bereits ausreicht, wenn der Download über eine automatisierte Abhängigkeitsauflösung erfolgt.
Mehrschichtige „Pickle“-Payloads überwinden herkömmliche Scanner
Bis 2024 hatten es Angreifer auf die Scanner abgesehen, die eigens zur Erkennung bösartiger Modelle entwickelt worden waren. Das deutlichste Beispiel hierfür ist die „Stacked Pickle“-Technik, bei der mehrere Pickle-Objekte verschachtelt und bösartige Anweisungen über die verschiedenen Ebenen verteilt werden, um sie anschließend durch Komprimierung und Kodierung zu verpacken.
Jede Ebene erscheint für sich genommen harmlos, sodass Scanner und manuelle Überprüfungen, die sich auf die Oberfläche beschränken, nichts entdecken. Beim Laden des Modells werden die Ebenen nacheinander entpackt und setzen die Nutzlast wieder zusammen. Ein mit dieser Technik erstelltes Proof-of-Concept-Beispiel wurde von keiner der Engines auf VirusTotal erkannt.
Ein Scanner, der nur die sichtbare Ebene überprüft, kann eine tiefer in der Datei versteckte Nutzlast übersehen. Auf diese Weise hat das Beispiel alle Scanner umgangen.
Safetensors entfernt die Ausführungs-Engine vollständig
Safetensors speichert Modellgewichte ohne Ausführungs-Engine. Eine Datei enthält einen kompakten Metadaten-Header, der die Form, den Datentyp und den Byte-Offset jedes Tensors beschreibt, gefolgt von den Rohdaten des Tensors. Es gibt keinen Befehlsstrom, keine virtuelle Maschine und kein Äquivalent zu „REDUCE“ aus Pickle, sodass der Loader nicht angewiesen werden kann, eine Funktion aufzurufen.
Eine Safetensors-Datei besteht aus inaktiven Daten, die vom Loader gelesen werden. Selbst eine böswillig gestaltete Datei kann beim Laden keinen Code ausführen, da das Format keine Möglichkeit bietet, diesen Code auszuführen.
Warum Safetensors entwickelt wurde und warum es sich verbreitet hat
Das Problem bei den bisherigen Formaten waren nie die Gewichte selbst. Das Problem war vielmehr, dass die Datei auch ausführbare Befehle enthalten konnte. Hugging Face hat in Zusammenarbeit mit EleutherAI und Stability AI „Safetensors“ als maßgeschneiderten Ersatz entwickelt, der diese Funktion entfernt und gleichzeitig alles beibehält, was Teams von einer Gewichtsdatei benötigen.
Safetensors ist zudem praktisch. Es wird dank des speicherabgebildeten Zero-Copy-Zugriffs schnell geladen, funktioniert mit PyTorch, TensorFlow, JAX und anderen Frameworks und ist mittlerweile zum Standard für die meisten neuen Modellveröffentlichungen geworden. Diese Vorteile haben dazu beigetragen, dass es sich auch ohne verbindliche Vorgabe verbreitet hat.
Eine unabhängige Prüfung bestätigt die Sicherheitsangabe
Die Betreuer sind nicht die einzige Quelle, auf die sich die Sicherheitsaussage stützt. Die Bibliothek ist in Rust geschrieben, dessen Compiler ganze Klassen von Parsing-Fehlern verhindert. Im Jahr 2023 gaben Hugging Face, EleutherAI und Stability AI gemeinsam eine unabhängige Prüfung des Formats durch Trail of Bits in Auftrag.
Die Prüfung ergab keine kritischen Schwachstellen, die zur Ausführung von beliebigem Code führen könnten. Es wurden einige Ungenauigkeiten in der Spezifikation sowie eine fehlende Validierung festgestellt, die die Verwendung von „Polyglot“-Dateien ermöglicht hatte. Die Betreuer haben alle diese Probleme behoben und die entsprechenden Korrekturen veröffentlicht und anschließend Safetensors als Standard festgelegt.
Die seitdem gesammelten Daten bestätigen die Ergebnisse der Prüfung. Bei den veralteten Formaten kam es seit 2024 zu tatsächlichen Vorfällen, während im gleichen Zeitraum kein Angriff durch Codeausführung auf das Safetensors-Format selbst nachgewiesen wurde. Safetensors bietet Angreifern keinen Ausführungsmechanismus für die Art von Angriffen, die Pickle-basierte Dateien gefährlich machen. Das verbleibende Risiko geht von den veralteten Formaten aus, die nach wie vor weit verbreitet sind.
Das Modell „ Supply Chain “ benötigt noch eine Inspektionsklappe
Das Risiko ergibt sich daraus, ob ein Modelldateiformat neben seinen Gewichten auch Code enthalten kann. Die Formate Pickle, PyTorch, TensorFlow und Keras können dies; Safetensors hingegen nicht – dies ist bereits in der Konzeption so vorgesehen. Sicherheitsverantwortliche müssen ausführbare Modellformate als Risiko betrachten, jedes Modell, das in die Umgebung gelangt, überprüfen und die Teams nach Möglichkeit dazu anhalten, sichere Formate zu verwenden.
Millionen von Modellen in veralteten Formaten befinden sich nach wie vor auf öffentlichen Hubs, und Teams laden sie weiterhin herunter. Ein Repository kann neben einer sicheren Datei auch eine Pickle-basierte Datei enthalten, sodass das Vorhandensein von Safetensors-Gewichten nicht bedeutet, dass das gesamte Repository sicher ist. Die Modell-Lieferkette wird so lange eine Kontrollinstanz benötigen, bis veraltete Formate ausgemustert sind.
In der Praxis ergibt sich daraus eine kurze Checkliste mit wenigen falsch-positiven Ergebnissen:
- Bevorzugen Sie Safetensors und behandeln Sie ältere Dateiformate so, als müssten sie vor der Verwendung überprüft werden. Alle Modelle mit den Endungen .pt, .pth, .bin, .pkl, .pb oder .h5 von nicht geprüften Anbietern sollten vor dem Laden überprüft werden.
- Das Laden eines Modells im Legacy-Format ist als Ausführungsereignis zu behandeln. Ein Modellladevorgang, bei dem eine Shell gestartet, eine ausgehende Verbindung vom Python-Interpreter aus hergestellt oder in einen sensiblen Pfad geschrieben wird, ist ein Verhaltenssignal, das ebenso wie jede Codeausführung in die Host-Telemetrie gehört.
- Scannen Sie das gesamte Artefakt, nicht nur die Gewichtsdatei. Die Analyseeinheit ist das Modellpaket in der ausgelieferten Form, da das Format eines Repositorys lediglich eine Angabe und keine Garantie darstellt, solange es nicht überprüft wurde.
Wie die fünfstufige Pipeline von „ MetaDefender Aether“ LLM-Modelldateien überprüft
MetaDefender Aether™, die einheitliche Zero-Day-Erkennungslösung v OPSWAT, erzielt durch eine fünfstufige Prüfpipeline eine Erkennungsrate von 99,9 % bei Zero-Day-Bedrohungen. Jede eingereichte Datei durchläuft zunächst eine Dateitypanalyse, bei der die Datei identifiziert wird, anstatt sich allein auf ihre Dateiendung zu verlassen. Jede Analyseebene kann eigenständig eine Einstufung vornehmen. Sobald eine Ebene zu einem eindeutigen Ergebnis gelangt, wird die Analyse beendet, sodass die meisten Dateien die tiefergehenden, ressourcenintensiveren Stufen umgehen.
- Bedrohungsreputation. Der Hashwert der Datei und die zugehörigen Indikatoren werden anhand der globalen Bedrohungsdaten von OPSWAT überprüft, die auf mehr als 50 Milliarden Indikatoren zurückgreifen. Ein Hashwert, der bereits mit einem bekannten bösartigen Upload in Verbindung gebracht wird, wird in weniger als einer Sekunde blockiert, und eine als unbedenklich eingestufte Datei wird ebenso schnell freigegeben, sodass nur unbekannte Dateien weitergeleitet werden.
- Statische Analyse. Bevor irgendetwas ausgeführt wird, wird die Datei von Predictive Alin AI im Rahmen einer statischen Analyse und eines Scans durch die Antiviren-Engine ausgewertet. Predictive Alin AI liefert innerhalb von Millisekunden auf maschinellem Lernen basierende Beurteilungen ohne Sandbox-Ausführung. Das System wurde anhand kuratierter, datenschutzkonformer Unternehmensdatensätze trainiert und wird kontinuierlich durch einen Zero-Day-Nachtrainierungszyklus verbessert, der mit den von MetaDefender Aether bestätigten Erkennungen gespeist wird. Bei Modelldateien werden hier verdächtige Pickles mit erkennbaren Payload-Opcodes abgefangen, bevor Emulationszeit dafür aufgewendet wird.
- Dynamische Analyse. Die Emulation auf Befehlsebene löst das „Stacked Pickle“-Problem, indem sie das Verhalten einer Datei aufdeckt, ohne für jede Stichprobe eine vollständige virtuelle Maschine hochfahren zu müssen. Sie umgeht die Anti-VM-Prüfungen und Zeitverzögerungen, die herkömmliche Sandboxen umgehen, und schließt die Analyse innerhalb von Sekunden statt Minuten ab – mit bis zu 20-facher Geschwindigkeit und 100-fachem Durchsatz im Vergleich zu herkömmlichen Sandboxing-Tools.
- Bedrohungsbewertung. Diese Ebene kombiniert die aufgerufenen Funktionen, die versuchten Verbindungen, Reputationssignale und weitere Erkenntnisse aus den ersten drei Ebenen. Sie stützt sich auf mehr als 900 Verhaltensindikatoren, um einen umsetzbaren Wert und einen Ähnlichkeitsfingerabdruck für die letzte Phase zu ermitteln.
- Threat Hunting. Die auf maschinellem Lernen basierende Ähnlichkeitssuche gleicht den Fingerabdruck mit der Threat-Intelligence-Datenbank von OPSWAT und den nach dem MITRE-Schema zugeordneten Verhaltensmustern ab, um Varianten und Kampagnen zu identifizieren. Ein neu gepacktes oder umbenanntes schädliches Modell hat zwar möglicherweise einen neuen Hash-Wert, doch diese Ebene kann dennoch die Ähnlichkeit mit einem bekannten schädlichen Vorläufer erkennen.
Der gesamte Prozess läuft automatisch ab. Er liefert ein zusammengefasstes Ergebnis sowie einen Beweisbericht, der jeden Indikator mit dem Verhalten verknüpft, das zu seiner Entstehung geführt hat.
MetaDefender Aether überprüft Modelldateien an jedem Einstiegspunkt
Modelle werden über Web-Downloads, E-Mail, Dateiübertragungsplattformen und automatisierte Pipelines bereitgestellt. Eine Prüfstelle muss jeden Übertragungsweg abdecken, ohne dass Unternehmen die Infrastruktur, über die der Datenverkehr geleitet wird, neu gestalten müssen.
Für Netzwerkkanäle integriert „ MetaDefender “ von Aether über ICAP das Standardprotokoll, das Proxy-Server, E-Mail-Gateways und Dateiübertragungsplattformen bereits nutzen, um Dateien an einen Überprüfungsdienst weiterzuleiten. Wenn der Datenverkehr kein Netzwerkgerät durchläuft, ist dieselbe Analyse stattdessen über eine REST-Schnittstelle API verfügbar.
- Web-Downloads. Wenn ein Entwickler ein Modell von Hugging Face oder Kaggle abruft, leitet der Proxy oder das Secure Web Gateway den Download über ICAP an „ MetaDefender “ von Aether weiter, und eine bösartige Pickle-Datei wird abgefangen, bevor sie den Endpunkt überhaupt erreicht.
- E-Mail: Als Anhänge übermittelte Modelldateien und KI-Tools werden über dieselbe Pipeline wie alle anderen Anhänge extrahiert und analysiert, wodurch die Social-Engineering-Lücke bei den Kontrollen auf Registrierungsebene geschlossen wird.
- Dateiübertragungen. Dateien, die mit Partnern und Lieferanten ausgetauscht oder über einen verwalteten Dateiübertragungsdienst zwischen internen Zonen verschoben werden, werden während der Übertragung gescannt, sodass die Vertrauensgrenze auch für Dateien gilt, die niemals mit einem öffentlichen Hub in Berührung kommen.
- Automatisierte Pipelines und Registries. Erstellen Sie Build-Jobs und ML-Plattformen, die Modelle programmgesteuert abrufen und über die „ API “ einreichen, bevor etwas in eine interne Registry übernommen wird. Damit wird genau die Schwachstelle geschlossen, die die Alibaba-PyPI-Pakete ausgenutzt haben: Dort übernimmt die Abhängigkeitsauflösung das Herunterladen, und niemand sieht jemals eine Datei, die verdächtig erscheinen könnte.
Jede Route nutzt dieselbe Prüfpipeline und dieselbe Bewertungslogik, sodass es keine unüberwachten Kanäle gibt, die ein Angreifer ausnutzen könnte.
Sicherheit, ohne die Entwickler auszubremsen
Sicherheitsteams lassen Modellrisiken oft unberücksichtigt, da ein Verbot von Downloads über öffentliche Hubs nicht praktikabel ist. MetaDefender Mit Aether können Entwickler ihre bestehenden Arbeitsabläufe beibehalten, während die Pipeline die Modelle in Echtzeit mit Emulationsgeschwindigkeit überprüft. Zu den blockierten Downloads gehört ein Bericht, in dem die Gründe für die Entscheidung erläutert werden.
Erfahren Sie, wie „ MetaDefender “ von Aether LLM-Modelldateien überprüft, bevor diese Ihre Vertrauensgrenze überschreiten.
Häufig gestellte Fragen
Was versteht man unter LLM-Modellsicherheit?
LLM-Modellsicherheit bezeichnet das Verfahren, vortrainierte KI-Modelldateien auf eingebetteten Schadcode zu überprüfen, bevor sie in eine Umgebung geladen werden. Dabei werden aus öffentlichen Hubs heruntergeladene Modelle als ausführbare Software behandelt, die eine Vertrauensgrenze überschreitet, und nicht als inerte Daten.
Warum sind Pickle-Dateien für KI-Modelle gefährlich?
Eine virtuelle Maschine führt den Befehlsstrom einer Pickle-Datei aus, während die Datei geladen wird. Der REDUCE-Befehl ermöglicht es einem Angreifer, während dieses Vorgangs beliebige Funktionen aufzurufen, sodass beim Laden eines Pickle-basierten Modells ohne Vorwarnung vom Angreifer kontrollierter Code ausgeführt werden kann.
Was ist Safetensors und worin unterscheidet es sich von Pickle?
Safetensors ist ein reines Datenformat zur Speicherung von Modellgewichten, das einen Metadaten-Header und rohe Tensor-Bytes enthält, jedoch keine Ausführungs-Engine und nichts, was der REDUCE-Anweisung von Pickle entspricht. Während eine Pickle-Datei ein Programm ist, das vom Loader ausgeführt wird, handelt es sich bei einer Safetensors-Datei um inerte Daten, die vom Loader gelesen werden.
Kann eine Safetensors-Datei dennoch schädlich sein?
Eine Safetensors-Datei kann beim Laden keinen Code ausführen, da das Format keinen Ausführungsweg vorsieht. Ein Repository kann jedoch neben sicheren Safetensors-Gewichten auch eine ältere, auf Pickle basierende Datei enthalten, sodass das gesamte Repository dennoch überprüft werden muss.
Wie erkennt „ MetaDefender “ Aether bösartige LLM-Modelle?
MetaDefender Aether überprüft Modelldateien anhand von fünf Ebenen: Bedrohungsreputation, statische Analyse, dynamische Analyse, Bedrohungsbewertung und Bedrohungssuche. Es stoppt die meisten Dateien, bevor sie die tieferen, ressourcenintensiveren Phasen erreichen, und kann gestapelte Pickle-Payloads erkennen, die herkömmliche Ein-Ebenen-Scanner umgehen.
Prüfen Sie jedes Modell, bevor es Ihre Vertrauensgrenze überschreitet
Teams setzen mittlerweile auf wiederverwendete, vortrainierte Modelle, doch bei jedem Download aus einer öffentlichen Quelle stellt sich dieselbe Frage: Enthält die Datei nur Daten, oder kann sie Code ausführen? MetaDefender Aether liefert die Antwort noch vor dem Laden des Modells und unterzieht Web-Downloads, E-Mails, Dateiübertragungen und automatisierte Pipelines einer fünfstufigen Analyse.
