Hugging Face gab am 16. Juli bekannt, dass ein autonomer KI-Agent und nicht ein menschlicher Angreifer an einer Tastatur den Angriff auf seine Produktionsinfrastruktur von Anfang bis Ende gesteuert hat. Sicherheitsforscher bezeichnen dies als den ersten vollständig KI-gesteuerten Angriff auf eine große KI-Plattform.
Der Angreifer nutzte zwei Schwachstellen in der Datenverarbeitungspipeline von Hugging Face aus, die die Ausführung von Code ermöglichten, und eskalierte anschließend, um Cloud- und Cluster-Zugangsdaten zu stehlen und sich in internen Systemen zu bewegen.
Der Agent protokollierte an einem einzigen Wochenende mehr als 17,000 Einzelaktionen, indem er temporäre Sandbox-Umgebungen nutzte und seine Befehlsinfrastruktur anpasste, um Abschaltungsversuchen zu entgehen.
Hugging Face fand keine Hinweise darauf, dass öffentliche Modelle, Datensätze, Spaces oder die Software-Lieferkette manipuliert wurden; der Zugriff beschränkte sich auf interne Datensätze und Zugangsdaten.
So funktionierte der Angriff
Der Einbruch begann mit einem manipulierten Datensatz. Die Plattform von Hugging Face führt routinemäßig nicht vertrauenswürdigen, von Benutzern eingereichten Code im Rahmen der Datensatzverarbeitung aus, und der Angreifer nutzte dies aus, indem er einen Remote-Code-Datensatzlader in Verbindung mit einer Template-Injection-Schwachstelle in der Datensatzkonfiguration missbrauchte.
Sobald der Agent die Ausführung von Code auf einem Verarbeitungs-Worker erlangt hatte, eskalierte er auf Knotenebene, sammelte Anmeldeinformationen und bewegte sich lateral über mehrere interne Cluster hinweg, und das alles ohne dass ein Mensch jeden Schritt steuerte.
Die Wendung während der Ermittlungen
Bei der Rekonstruktion des Angriffsablaufs anhand der über 17,000 protokollierten Aktionen versuchte Hugging Face, kommerzielle KI-Modelle der neuesten Generation zur Analyse der forensischen Daten einzusetzen. Diese Modelle versagten jedoch, da ihre Sicherheitssysteme nicht zwischen einem Incident Responder, der echte Exploit-Payloads zur Analyse einreichte, und einem tatsächlichen Angreifer unterscheiden konnten.
Hugging Face entschied sich schließlich für GLM-5.2, ein Open-Weight-Modell, das vollständig auf der eigenen Infrastruktur ausgeführt werden konnte. Dadurch war es möglich, die Analyse ohne die Guardrail-Sperre und ohne die Übermittlung sensibler Daten an einen externen Dienst abzuschließen.
Sicherheitsforscher sehen in diesem Moment einen Beleg für eine zunehmende Asymmetrie. Angreifer, die gecrackte oder uneingeschränkte Systeme nutzen, unterliegen keinerlei Sicherheitsbeschränkungen, während Verteidiger, die auf gehostete kommerzielle Systeme setzen, mitten im Angriff von eben jenen Sicherheitssystemen blockiert werden können, die sie eigentlich schützen sollen.
Was Hugging Face seitdem gemacht hat
Das Unternehmen gibt an, die ausgenutzten Codepfade geschlossen, die kompromittierten Knoten neu aufgesetzt, die betroffenen Zugangsdaten aktualisiert und die Sicherheitsvorkehrungen in seinen Clustern verschärft zu haben. Zudem wurden externe IT-Forensiker hinzugezogen und der Vorfall den Strafverfolgungsbehörden gemeldet.
Hugging Face rät allen Nutzern vorsorglich, ihre Zugriffstoken zu wechseln und die jüngsten Kontoaktivitäten zu überprüfen. Betroffene Kunden oder Partner werden direkt benachrichtigt, sobald die Bewertung abgeschlossen ist.
Links:
