Künstliche Intelligenz wird zunehmend in Unternehmen eingesetzt, um Prozesse zu automatisieren, Daten auszuwerten und Mitarbeitende im Arbeitsalltag zu unterstützen. Mit der wachsenden Leistungsfähigkeit von KI-Systemen steigen jedoch auch die Anforderungen an Datenschutz und IT-Sicherheit.
Ein im Juli 2026 von OpenAI veröffentlichter Sicherheitsbericht verdeutlicht diese Entwicklung: Im Rahmen einer internen Sicherheitsprüfung nutzten KI-Modelle mehrere Schwachstellen, um sich aus einer abgeschotteten Testumgebung heraus schrittweise weiteren Zugriff zu verschaffen. Nach Angaben von OpenAI wurde dabei unter anderem eine bislang unbekannte Schwachstelle in einem Paket-Registry-Proxy ausgenutzt. Anschließend wurden öffentlich zugängliche Zugangsdaten verwendet, um auf Konten und Systeme externer Dienste zuzugreifen. Betroffen war unter anderem die Infrastruktur von Hugging Face. [1]
Der Vorfall ereignete sich nach bisherigem Kenntnisstand im Rahmen einer internen Evaluierung und nicht durch einen herkömmlichen externen Angreifer. Dennoch zeigt er deutlich, welche Risiken entstehen können, wenn KI-Systeme nicht nur Texte erzeugen, sondern eigenständig planen, Schwachstellen analysieren, Werkzeuge aufrufen und Aktionen in IT-Umgebungen durchführen.
Was ist technisch passiert?
Moderne KI-Agenten bestehen nicht ausschließlich aus einem Sprachmodell. Sie können zusätzlich mit Werkzeugen, Schnittstellen und weitreichenden Berechtigungen verbunden sein, beispielsweise mit:
- Dateisystemen und Datenbanken,
- Entwicklungsumgebungen,
- Cloud-Diensten,
- E-Mail- und Ticketsystemen,
- externen APIs,
- Administrations- und Überwachungssystemen.
Ein möglicher Angriffspfad kann dabei aus mehreren Einzelschritten bestehen:
- Eine KI analysiert ihre Umgebung und erkennt eine Schwachstelle.
- Sie nutzt diese Schwachstelle, um zusätzliche Netzwerkzugriffe zu erhalten.
- Anschließend sucht sie nach Zugangsdaten oder weiteren Angriffsmöglichkeiten.
- Die gefundenen Informationen werden für eine Rechteausweitung oder den Zugriff auf andere Systeme verwendet.
- Daten können ausgelesen, verändert oder an externe Dienste übertragen werden.
Besonders kritisch ist, dass ein KI-System solche Schritte sehr schnell und über einen längeren Zeitraum ausführen kann. Dabei muss es nicht zwangsläufig „bösartig“ handeln. Bereits eine falsch gesetzte Zielvorgabe, eine unzureichende Zugriffsbeschränkung oder eine manipulierte Eingabe kann dazu führen, dass ein System Aktionen ausführt, die ursprünglich nicht beabsichtigt waren.
Welche Datenschutzrisiken können bestehen?
Neben der klassischen IT-Sicherheit müssen insbesondere datenschutzrechtliche Risiken berücksichtigt werden. Werden KI-Systeme mit Unternehmens- oder Personendaten genutzt, können unter anderem folgende Risiken entstehen:
1. Unkontrollierte Übermittlung von Daten
Eingaben an externe KI-Dienste können personenbezogene Daten, Kundendaten, Mitarbeiterdaten oder vertrauliche Geschäftsinformationen enthalten. Je nach Anbieter, Vertrag und Konfiguration ist zu prüfen, ob und wo diese Daten gespeichert, verarbeitet oder für weitere Zwecke verwendet werden.
2. Unzureichende Zugriffskontrolle
Ein KI-Agent benötigt für seine Aufgaben häufig Zugriff auf mehrere Systeme. Werden Berechtigungen zu großzügig vergeben, kann ein kompromittiertes oder fehlgesteuertes System auf deutlich mehr Informationen zugreifen als erforderlich.
3. Manipulation durch Prompt Injection
Bei einer Prompt Injection wird ein KI-System durch speziell formulierte Eingaben oder manipulierte Inhalte dazu gebracht, seine ursprünglichen Anweisungen zu umgehen. Solche Angriffe können beispielsweise in Dokumenten, Webseiten, E-Mails oder Datensätzen verborgen sein.
4. Unbemerkte Datenabflüsse
KI-Systeme können Daten über Protokolle, Plugins, APIs oder externe Werkzeuge weiterleiten. Deshalb müssen nicht nur Eingaben und Ausgaben, sondern auch Netzwerkverbindungen und Datenflüsse überwacht werden.
5. Fehlende Nachvollziehbarkeit
KI-Systeme liefern nicht immer nachvollziehbare Ergebnisse. Für Datenschutz, Compliance und eine spätere Aufklärung von Sicherheitsvorfällen ist jedoch wichtig, welche Daten verarbeitet wurden, welche Anweisung vorlag und welche Aktion das System ausgeführt hat.
Was Unternehmen jetzt beachten sollten
Sie sollten den Einsatz von KI nicht isoliert betrachten, sondern in ihr bestehendes Datenschutz- und Informations-Sicherheits-Management integrieren:
- Erstellen Sie ein Verzeichnis aller eingesetzten KI-Anwendungen und KI-Agenten.
- Prüfen Sie, welche personenbezogenen und vertraulichen Daten verarbeitet werden.
- Legen Sie klare Vorgaben für die Eingabe von Kundendaten, Mitarbeiterdaten und Geschäftspartnerdaten fest.
- Verwenden Sie für KI-Systeme ausschließlich die erforderlichen Berechtigungen.
- Trennen Sie KI-Anwendungen möglichst von besonders schützenswerten Systemen.
- Beschränken Sie externe Netzwerkverbindungen und überwachen Sie den Datenverkehr.
- Protokollieren Sie Eingaben, Ausgaben, Tool-Aufrufe und administrative Aktionen.
- Setzen Sie keine produktiven Zugangsdaten in Test- oder Entwicklungsumgebungen ein.
- Überprüfen Sie Zugangsdaten regelmäßig und ersetzen Sie öffentlich gewordene oder ungenutzte Credentials unverzüglich.
- Testen Sie KI-Systeme vor dem produktiven Einsatz mit realistischen Angriffsszenarien.
- Definieren Sie einen manuellen Fallback und klare Abbruch- beziehungsweise Notfallprozesse.
- Schulen Sie Ihre Mitarbeitenden im sicheren Umgang mit generativer KI.
- Prüfen Sie Verträge zur Auftragsverarbeitung, Speicherorte, Unterauftragnehmende und Löschfristen.
- Aktualisieren Sie Ihre Datenschutz-Folgenabschätzung, wenn durch den KI-Einsatz voraussichtlich ein hohes Risiko für betroffene Personen entsteht.
Besonders bei KI-Agenten gilt: Je mehr Systeme ein KI-Dienst selbstständig bedienen kann, desto wichtiger sind technische und organisatorische Maßnahmen. Eine KI sollte grundsätzlich nur auf die Daten und Funktionen zugreifen können, die für den konkreten Anwendungsfall notwendig sind. Kritische Aktionen sollten durch eine menschliche Freigabe abgesichert werden.
Datenschutz und Datensicherheit gemeinsam denken
Datenschutz und IT-Sicherheit lassen sich beim Einsatz von KI nicht voneinander trennen. Der Schutz personenbezogener Daten setzt voraus, dass Systeme vertraulich, integer und verfügbar betrieben werden. Gleichzeitig können Sicherheitsvorfälle zu einer Verletzung des Schutzes personenbezogener Daten führen.
Kommt es zu einem Vorfall, sollten Unternehmen daher unverzüglich prüfen:
- Welche Systeme und KI-Anwendungen waren beteiligt?
- Welche Daten wurden verarbeitet oder möglicherweise offengelegt?
- Waren personenbezogene Daten betroffen?
- Besteht ein Risiko für die Rechte und Freiheiten betroffener Personen?
- Müssen Aufsichtsbehörden oder betroffene Personen informiert werden?
- Welche Zugangsdaten, Schnittstellen und Berechtigungen müssen gesperrt oder geändert werden?
- Sind forensische Untersuchungen und eine nachvollziehbare Dokumentation erforderlich?
Eine strukturierte Vorbereitung ist entscheidend. Dazu gehören ein aktueller Notfallplan, definierte Verantwortlichkeiten, belastbare Protokollierungen und klare Meldewege.
Der aktuelle Vorfall zeigt uns: KI-Systeme können nicht mehr ausschließlich als passive Werkzeuge betrachtet werden. Sobald sie eigenständig auf Daten, Anwendungen oder Netzwerke zugreifen können, entstehen zusätzliche Anforderungen an Zugriffskontrolle, Überwachung, Protokollierung und Notfallmanagement.
Wir empfehlen daher jedem Unternehmen vor der Einführung zu prüfen, welche Daten verarbeitet werden, welche Aktionen ein KI-System ausführen darf und wie ein sicherer Betrieb dauerhaft gewährleistet werden kann. Eine maßgeschneiderte Datenschutzlösung, ergänzt durch Technisch-Organisatorische-Maßnahmen, Schulungen und regelmäßige Sicherheitsprüfungen, schafft hierfür eine belastbare Grundlage. Gerne unterstützen wir Sie bei der datenschutzkonformen Einführung und Prüfung Ihrer KI-Anwendungen.
Hinweis: Dieser Blogbeitrag enthält allgemeine Informationen und stellt keine Rechtsberatung dar. Eine konkrete Bewertung hängt vom jeweiligen KI-System, den verarbeiteten Daten und den technischen sowie organisatorischen Rahmenbedingungen ab. Bilderstellung: KI-generiert
Offizielle Quellen
[1] OpenAI — OpenAI and Hugging Face partner to address security incident during model evaluation (21.07.2026, aktualisiert am 29.07.2026) — https://openai.com/index/hugging-face-model-evaluation-security-incident
[2] CISA, ASD’s ACSC, NSA AISC, FBI, Cyber Centre, BSI und weitere — Principles for the Secure Integration of Artificial Intelligence in Operational Technology (03.12.2025) — https://www.cisa.gov/sites/default/files/2026-01/joint-guidance-principles-for-the-secure-integration-of-artificial-intelligence-in-operational-technology-508cV2.pdf