Betrug durch KI-generierte Inhalte bezeichnet den Einsatz generativer KI zur Fälschung oder Manipulation von Bildern, Dokumenten oder Texten, die als Nachweis bei einer geschäftlichen Entscheidung vorgelegt werden. AI Content Inspector ist die KI-gestützte Engine v OPSWAT zur Überprüfung der Authentizität von Inhalten und zur Erkennung von Dokumentenfälschungen. Sie wurde entwickelt, um solche Inhalte zu kennzeichnen, bevor sie eine Zahlungs- oder Versorgungsentscheidung beeinflussen.
Wichtigste Erkenntnisse
- Ein Fleck an der Decke im Wert von 600 Dollar führte zu einer Auszahlung der Hausratversicherung in Höhe von 18.400 Dollar, nachdem generative KI den Schaden auf einem eingereichten Foto übertrieben dargestellt hatte – ganz ohne Besuch eines Sachverständigen.
- Aus einer 150-Dollar-Schramme an der Stoßstange wurde ein Kfz-Schadenfall in Höhe von 3.850 Dollar, nachdem die KI demselben Foto Dellen und eine gesprungene Stoßstange hinzugefügt hatte
- Krankenkassen sehen sich einem damit verbundenen Risiko gegenüber: Synthetische medizinische Bilder und gefälschte klinische Unterlagen können entweder zu falschen Erstattungsentscheidungen oder zu falschen Behandlungsentscheidungen führen.
- 20 % bis 30 % der Versicherungsansprüche enthalten möglicherweise bereits durch KI bearbeitete Medien
- AI Content Inspector kombiniert Metadaten- und Herkunftsprüfungen, forensische Analysen und Komprimierungsanalysen, KI-Modellklassifikatoren sowie die Erkennung von Wasserzeichen zu einem einzigen Ergebnis mit einem Konfidenzwert – und nicht zu einer einfachen „Bestanden“- oder „Nicht bestanden“-Bewertung.
Unser früherer Beitrag zum Thema durch KI generierter Rechnungsbetrug hat gezeigt, dass eine gefälschte Rechnung jeden Malware-Scan bestehen kann, obwohl sie eine betrügerische Zahlungsanweisung enthält. Dieselbe Sicherheitslücke tritt überall dort auf, wo ein Foto, ein Dokument oder ein gescanntes Formular als Nachweis akzeptiert wird. Ein Foto einer Immobilie, ein Unfallbild oder eine Krankenakte kann frei von Schadcode sein und dennoch ein falsches Bild davon vermitteln, was tatsächlich geschehen ist.
In diesem Blog stellen wir drei Arten von Schadensfällen vor – Hausratversicherung, Kfz-Versicherung und Kostenerstattung im Gesundheitswesen –, um zu verdeutlichen, wie weit sich dieses Risiko bereits erstreckt. Betrugsanalysten, Sonderermittlungseinheiten, Leiter der Schadenbearbeitung und Teams für Zahlungsintegrität im Gesundheitswesen sind diejenigen, die dieses Risiko tragen, da sie die letzte Kontrollinstanz sind, bevor eine Auszahlung oder eine Behandlungsentscheidung erfolgt.
Wo KI-generierter Betrug bereits Auswirkungen auf Schadensfälle hat
Generative KI hat es ermöglicht, gefälschte Schadensmeldungen schnell, kostengünstig und optisch kaum erkennbar zu erstellen. Laut Shift Technology könnten 20 % bis 30 % der Versicherungsansprüche KI-manipulierte Medien enthalten. Nach Angaben der Association for Financial Professionals waren im Jahr 2025 76 % der Unternehmen von versuchten oder tatsächlichen Zahlungsbetrugsfällen betroffen, und wie ein aktueller Bericht von Medius Financial Census zeigt, belaufen sich die durchschnittlichen Verluste durch Rechnungsbetrug auf 133.000 US-Dollar pro Vorfall.
Die Arbeitsabläufe bei Schadenmeldungen, Zahlungen und Erstattungen hängen alle von eingereichten Inhalten ab, die generative KI mittlerweile überzeugend fälschen kann. Jeder Arbeitsablauf trifft auf der Grundlage dieser Inhalte eine Entscheidung über die Genehmigung, Kennzeichnung, Sperrung oder Weiterleitung zur Überprüfung, und ein gefälschtes Bild oder Dokument kann diese Entscheidung durchsetzen, bevor jemand hinterfragt, ob die zugrunde liegenden Nachweise echt sind.
Wie durch KI erzeugte Fotos von Sachschäden die Höhe von Hausratversicherungsansprüchen in die Höhe treiben
Das Szenario
Ein Hausbesitzer fotografiert einen kleinen Fleck an der Decke, dessen Reparatur etwa 600 Dollar kosten würde. Mithilfe generativer KI wird das Bild so bearbeitet, dass es den Eindruck vermittelt, als hätten sich Sturmschäden über die gesamte Decke und das Dach ausgebreitet. Das KI-bearbeitete Foto wird über ein Tool zur Fernprüfung von Schadensfällen eingereicht und führt zu einer automatisierten Auszahlung in Höhe von 18.400 Dollar, ohne dass jemals ein Gutachter das Haus besucht hat.
Wie der „AI Content Inspector“ KI-Fälschungen bereits bei der Eingabe erkennt
Der AI Content Inspector überprüft das eingereichte Bild anhand mehrerer Signale gleichzeitig, darunter die Analyse von Sensor-Fingerabdrücken, Überprüfungen der Pixelkonsistenz und Komprimierungsspuren, die bei der Bearbeitung hinterlassen wurden. Kein einzelner Detektor entscheidet allein über das Ergebnis. Diese Kombination ermöglicht es der Engine, ein durch KI gefälschtes Bild zu kennzeichnen, selbst wenn es für einen menschlichen Prüfer überzeugend aussieht. Das daraus resultierende Urteil und der Konfidenzwert werden an die Schadenplattform zurückgesendet, über die die Datei eingereicht wurde, sodass ein verdächtiges Foto zur manuellen Überprüfung weitergeleitet werden kann, bevor die Auszahlung genehmigt wird – und nicht erst, nachdem das Geld bereits ausgezahlt wurde.
Können mit KI bearbeitete Fotos dazu führen, dass ein Kfz-Versicherungsanspruch anerkannt wird?
Das Szenario
Ein Versicherungsnehmer fotografiert eine kleine Schramme an der Stoßstange, deren Reparatur 150 Dollar kostet. Mithilfe generativer KI werden demselben Foto Beulen, ein zerbrochenes Licht und eine gesprungene Stoßstange hinzugefügt. Das manipulierte Bild wird bei einer fotobasierten Schadenmeldungsplattform eingereicht und löst eine automatische Auszahlung in Höhe von 3.850 Dollar aus, ohne dass ein Schadensgutachter das Auto jemals zu Gesicht bekommt.
Warum fotobasierte Schadensmeldungsplattformen angreifbar sind
Fotobasierte Schadenmeldungsplattformen dienen dazu, die Bearbeitung zu beschleunigen, und nicht dazu, die Echtheit eines eingereichten Bildes zu hinterfragen. AI Content Inspector fügt bereits an der Stelle, an der das Bild in den Arbeitsablauf gelangt, eine Bewertung der Authentizität des Inhalts hinzu. Diese Bewertung erfordert weder einen neuen Beschaffungszyklus noch ein separates Erkennungstool, das an die Schadenmeldungsplattform angehängt wird, und sie liefert speziellen Ermittlungseinheiten frühzeitiger Hinweise, anhand derer sie tätig werden können, wenn ein verdächtiger Schadenfall genauer geprüft werden muss.
Die Auswirkungen synthetischer medizinischer Dokumentation auf das Gesundheitswesen
Krankenkassen sehen sich zwei miteinander verbundenen Risiken gegenüber, die auf dasselbe Grundproblem zurückzuführen sind. Gefälschte klinische Bilder oder erfundene Unterlagen, die zusammen mit einem Erstattungsantrag eingereicht werden, können zu falschen Erstattungsentscheidungen führen. Gelangen dieselben gefälschten Inhalte jedoch nicht in die Warteschlange der Krankenkasse, sondern in die Akte eines Leistungserbringers, können sie stattdessen zu falschen klinischen Entscheidungen führen.
Warum eine manuelle Dokumentenprüfung nicht ausreicht, um eines dieser Risiken zu erkennen
Krankenkassen und Teams für Zahlungsintegrität müssen gefälschte medizinische Bilder und synthetische Unterlagen identifizieren und dabei die Integrität eines regulierten Arbeitsablaufs gewährleisten. Dabei bearbeiten sie ein derart großes Volumen an Leistungsanträgen, dass eine manuelle Überprüfung jedes einzelnen Bildes und Dokuments Zeile für Zeile nicht praktikabel ist. Der „AI Content Inspector“ analysiert eingereichte medizinische Bilder und Unterlagen auf Anzeichen für KI-Generierung und Betrug, bevor diese Inhalte in einen Erstattungs- oder Behandlungsablauf gelangen, ohne dass für jede Datei ein separater Überprüfungsschritt erforderlich ist.
Wie der AI Content Inspector gefälschte Inhalte erkennt
Bevor ein Erkennungssignal ausgelöst wird, überprüft und normalisiert AI Content Inspector jede eingereichte Datei, einschließlich der Metadaten und der EXIF-Daten bei unterstützten Bildformaten. Es gibt kein einzelnes Signal, das darüber entscheidet, ob die Datei gefälscht ist. AI Content Inspector kombiniert vier Erkennungskategorien für Bilder, Texte und PDF-Dateien:
- Metadaten- und Herkunftsanalyse. Überprüfung der angegebenen Herkunft einer Datei durch Abgleich der Kameradaten mit den von der KI generierten Angaben.
- Forensische Analyse und Komprimierungsanalyse. Sucht nach Bearbeitungsartefakten, Lücken im Sensor-Fingerabdruck und Komprimierungsspuren, die durch erneutes Speichern oder Manipulationen entstanden sind.
- KI-Modellklassifikatoren. Führt Deep-Learning-Modelle aus, die darauf trainiert sind, echte Inhalte von KI-generierten Bildern und Texten zu unterscheiden.
- Wasserzeichen-Erkennung. Überprüft unterstützte Bildinhalte auf eingebettete Signaturen wie Google SynthID.
Jedes Signal liefert ein eigenes Ergebnis. Der AI Content Inspector fasst diese zu einem einzigen Ergebnis mit einem Konfidenzwert zusammen – anstelle einer einfachen „Bestanden“- oder „Nicht bestanden“-Bewertung –, sodass unsichere Ergebnisse zur Überprüfung durch einen Menschen weitergeleitet werden können, anstatt automatisch blockiert oder freigegeben zu werden.
Die Rolle des AI Content Inspector innerhalb der MetaDefender™-Plattform
Der AI Content Inspector läuft als eigenständige Engine innerhalb von MetaDefender™ Core und MetaDefender™ Cloud. Er ergänzt die Technologien Metascan™ Multiscanning, Deep CDR™ und Proactive DLP™. Durch die Einbindung von Bewertungen zur Authentizität von Inhalten in diese bestehende Pipeline benötigen Schadenregulierungs-, Zahlungs- und Patientenaufnahmesysteme im Gesundheitswesen kein separates Tool zur Deepfake-Erkennung und keine neue Integration, um zu überprüfen, ob eingereichte Inhalte vertrauenswürdig sind.
Im Gegensatz zu eigenständigen Deepfake-Erkennungswerkzeugen, die einen eigenen Arbeitsablauf und Beschaffungszyklus erfordern, ist der AI Content Inspector so konzipiert, dass er innerhalb der bereits in diesen Unternehmen eingesetzten Pipeline zur Dateiprüfung funktioniert. Damit erweitert er den Ansatz von „ OPSWAT “ zur Dateisicherheit: Dabei wird nicht mehr nur geprüft, ob eine Datei sicher geöffnet werden kann, sondern auch, ob ihrem Inhalt vertraut werden kann. Der AI Content Inspector ergänzt die in Ihrem Unternehmen bereits durchgeführte Dateiprüfung um eine Bewertung der Authentizität der Inhalte. Erfahren Sie, wie sich das Tool in Ihren Arbeitsablauf bei der Schadenbearbeitung, der Zahlungsabwicklung oder der Patientenaufnahme im Gesundheitswesen einbinden lässt.
FAQs
Welche Dateiformate unterstützt der AI Content Inspector?
Der AI Content Inspector unterstützt gängige Bildformate wie JPG, PNG, WebP und BMP sowie textbasierte Formate wie TXT, Markdown und PDF. Die PDF-Prüfung umfasst sowohl die Erkennung von KI-generiertem Text als auch die Erkennung von KI-generierten Bildern innerhalb desselben Dokuments.
Funktioniert AI Content Inspector auch ohne Cloud-Verbindung?
Ja. Der AI Content Inspector lässt sich lokal über „ MetaDefender “ (Core) sowie über „ MetaDefender “ (Cloud) unter Windows und Linux bereitstellen. Unternehmen, die keine Anträge, Zahlungsunterlagen oder Dokumente aus dem Gesundheitswesen an einen externen Dienst senden können, können die Erkennung vollständig in ihrer eigenen Umgebung durchführen.
Inwiefern unterscheidet sich der AI Content Inspector von einem Malware-Scan?
Bei der Malware-Prüfung wird überprüft, ob eine Datei sicher geöffnet werden kann. Der AI Content Inspector prüft, ob der Inhalt dieser Datei authentisch ist, und ergänzt die Malware-Prüfung um eine Bewertung hinsichtlich Betrug und KI-Generierung, ohne diese zu ersetzen.
Liefert der AI Content Inspector ein „Bestanden“- oder „Nicht bestanden“-Ergebnis?
Nein. Das System gibt ein Ergebnis zusammen mit einem Konfidenzwert aus, der auf mehreren Erkennungssignalen basiert. Bei unklaren Ergebnissen kann eine manuelle Überprüfung veranlasst werden, wobei der Schwellenwert für die Überprüfung konfigurierbar ist.
