KI – leistungsstarkes Überwachungs- und Profilinginstrument

Mehrere nationale EU-Datenschutzbehörden und EU-Institutionen haben Leitlinien zu generativer KI veröffentlicht (Datenschutz, Sicherheit, Governance und Nutzung am Arbeitsplatz). Dazu zählen beispielsweise der Europäische Datenschutzausschuss (EDSA), das
Information Commissioner’s Office (Vereinigtes Königreich), die CNIL (Frankreich), die IMY (Schweden) sowie verschiedene andere nationale Datenschutz- und Aufsichtsbehörden. Veröffentlicht wurden Diskussionspapiere oder praktische Empfehlungen zur Modellschulung, Anonymisierung und Nutzung am Arbeitsplatz.

Die Leitlinien weisen darauf hin, dass die Nutzung generativer KI-Tools mit ihrer zunehmenden Integration in die täglichen Arbeitsabläufe von Beschäftigten nicht nur im Hinblick auf Effizienz und Geschwindigkeit bewertet werden sollte, sondern auch aus der Perspektive des Schutzes personenbezogener Daten, der Informationssicherheit, des Schutzes von Geschäftsgeheimnissen, der Entscheidungsqualität und der Unternehmensführung.

Shadow AI: das wachsende Risiko einer unkontrollierten Nutzung in Organisationen

Eines der zentralen Konzepte, die in den Leitlinien hervorgehoben werden, ist „Shadow AI”. Damit wird die Nutzung generativer KI-Tools durch Beschäftigte in Geschäftsprozessen bezeichnet, ohne dass die Organisation davon weiß oder diese Nutzung kontrolliert. Eine solche unkontrollierte Nutzung kann insbesondere im Hinblick auf die Verantwortlichkeit, den Schutz von Geschäftsgeheimnissen und die Informationssicherheit, einschließlich des Schutzes personenbezogener Daten, Risiken mit sich bringen.

Stellen wir uns Marta aus der Personalabteilung vor, die die Notiz in zwei Slack-Kanälen verbreitete: „Marketing-Brainstorming-Tool – kostenlose Prompts für Kampagnenideen. Einfach ausprobieren und den persönlichen Lieblings-Prompt teilen.” Der Link führte zu einer übersichtlichen, einfachen Seite mit kategorisierten Prompt-Paketen und einem freundlichen Chat-Widget, das nach der Branche des Teams und dessen größter Herausforderung fragte, „damit die Prompts besser passen”. Begeisterte Nachwuchskräfte fügten interne Kampagnenbriefings und zentrale Kennzahlen in den Chat ein, um maßgeschneiderte Prompts zu erhalten. Innerhalb weniger Wochen war der Marketingkalender mit Ideen gefüllt, die unheimlich genau zur Planung des Unternehmens für das nächste Quartal passten.

Die Seite protokollierte jeden übermittelten Prompt und alle angehängten Dateien und leitete diese Daten anschließend in ein internes Analyse-Dashboard weiter, das zur Vorbereitung von Strategiebesprechungen über Wettbewerber genutzt wurde. Die Folgen zeigten sich unmittelbar: Eine vorgezogene Kampagne eines Konkurrenten machte eine geplante Produkteinführung zunichte, und eine interne Untersuchung ergab, dass mehrere Beschäftigte weitere „kostenlose” Tools unbekannter Anbieter verwendet hatten.

Selbst ein schneller Datenbereiniger stellt eine Gefahr für geheime Informationen dar

Eine weitere Geschichte: Daniel, ein Junior-Analyst, war damit überlastet, einen unübersichtlichen Export von Lieferantendaten für eine vierteljährliche Budgetprüfung in eine saubere CSV-Datei umzuwandeln. Ein Teammitglied teilte in ihrem Chat einen Link: „Schneller CSV-Bereiniger – Daten einfügen und Download erhalten!” Die Seite wirkte professionell und bot einen Bereich für die Live-Vorschau mit der Bezeichnung „Rohtext hier einfügen”. Unter Zeitdruck und bereits verspätet fügte Daniel einen Datenblock ein, der Namen, Vertragswerte, E-Mail-Adressen von Ansprechpartnern der Lieferanten und eine Referenz zu einem Lieferantenbankkonto enthielt – Informationen, die er für harmlos hielt und die seiner Einschätzung nach nur intern verwendet werden sollten.

Der Dienst gab innerhalb weniger Sekunden eine perfekt formatierte CSV-Datei zurück. Daniel lud sie herunter und stellte die Datei auf dem gemeinsamen Laufwerk des Finanzteams bereit. In der darauffolgenden Woche schickte ein Personalvermittlungsunternehmen eine E-Mail, in der auf die ungewöhnlich hohen Zahlungen an einen Lieferanten Bezug genommen wurde; ein Anbieter rief an und fragte, weshalb eine Zahlungsreferenz offengelegt worden sei.

Der schnelle Problemlöser hatte vertragsrelevante Werte und persönliche Kontaktdaten gegenüber einem Dienst außerhalb der Kontrolle des Unternehmens offengelegt und dadurch Compliance-Risiken sowie einen Reputationsschaden verursacht. Dies geschieht jeden Tag in Tausenden oder Millionen von Unternehmen. Nützliche Tools können sich als Fallen erweisen – Geheimnisse sollten niemals in unbekannte, aber auch nicht in bekannte Dienste eingefügt werden, selbst wenn die Zeit knapp ist. Dieser Ansatz legt nahe, dass Unternehmen sich nicht nur darauf konzentrieren sollten, ob KI eingesetzt wird, sondern auch darauf, welche Tools von wem und zu welchen Zwecken verwendet werden und welche Datenkategorien betroffen sind.

Risiken im Zusammenhang mit personenbezogenen Daten, Geschäftsgeheimnissen und sensiblen Informationen

Die unkontrollierte Nutzung generativer KI-Tools kann erhebliche Risiken nicht nur im Hinblick auf personenbezogene Daten, sondern auch in Bezug auf Geschäftsgeheimnisse, Rechte des geistigen Eigentums und andere sensible Unternehmensinformationen mit sich bringen. Das Teilen von Materialien wie Quellcode, Produktdesigns, Geschäftsstrategien, interner Korrespondenz, Personaldaten und Kundendateien mit externen KI-Tools kann die Kontrolle der Organisation über solche Informationen schwächen.

Veröffentlichte Leitlinien befürworten, sofern möglich, die Anonymisierung bzw. Pseudonymisierung. Identifizierbare Daten sollten von Beschäftigten grundsätzlich nicht in Prompts eingegeben werden. In einigen Fällen – jedoch nicht auf Ebene einzelner Beschäftigter – sind identifizierbare Daten erforderlich, damit eine korrekte Verarbeitung möglich ist, etwa bei personalisiertem Kundensupport, der Bearbeitung von Personalangelegenheiten, der Betrugserkennung oder bei medizinischer bzw. rechtlicher Beratung mit Bezug zu einer bestimmten Person. Durch Anonymisierung und Pseudonymisierung müssen alle personenbezogenen Daten entfernt werden, während der für genaue und relevante Ergebnisse erforderliche Kontext erhalten bleibt.

Beschäftigte müssen dazu angeleitet werden, in Prompts oder Uploads ausschließlich die für die jeweilige Aufgabe unbedingt erforderlichen Daten zu verwenden. Sinnvoll ist die Implementierung von Kontrollen auf Prompt-Ebene (z. B. das Blockieren bestimmter Felder) sowie von rollenbasierten Einschränkungen, damit keine unnötigen personenbezogenen oder geschützten Informationen übermittelt werden können. Die Eingabe sensibler Kategorien – besonders geschützter personenbezogener Daten, Geschäftsgeheimnisse, Quellcode, nicht veröffentlichter Entwürfe und Kundendatenbanken – in Modelle Dritter sollte ausdrücklich untersagt werden, sofern keine außergewöhnlichen Kontrollmaßnahmen vorhanden sind.

Generative KI – leistungsstarkes Überwachungsinstrument

Bei missbräuchlicher Verwendung kann generative KI wie ein leistungsstarkes Überwachungs- oder Datenabflussinstrument agieren. Wenn Beschäftigte vertrauliche Dateien oder Prompts mit personenbezogenen Identifikatoren in externe Modelle eingeben, können Geschäftsgeheimnisse und personenbezogene Daten offengelegt werden. Modelle, die auf gesammelten Eingaben trainiert oder feinabgestimmt wurden, können sensible Informationen unbeabsichtigt speichern oder offenlegen.

Durch bösartige Prompts können Modelle dazu gebracht werden, Trainingsdaten offenzulegen oder sensible Merkmale aus harmlos wirkenden Eingaben abzuleiten.
Integrierte KI-Agenten könnten die Kommunikation oder Dokumente fortlaufend analysieren und dadurch ohne angemessene Information oder Rechtsgrundlage eine umfassende Profilbildung ermöglichen.

Es kam vor, dass Beschäftigte attraktive kostenlose Prompt-Tools nutzten, um Arbeitsaufgaben schnell zu lösen. Diese Seiten sammelten jedoch sensible strategische und personenbezogene Daten, die später von Wettbewerbern oder Dritten ausgenutzt wurden. Mehrere Beschäftigte in verschiedenen Unternehmen fügten unterschiedliche sensible Datensätze – Arztbesuche, Medikamente, Einkäufe und Reisen – in dasselbe beliebte Prompt-Tool ein und verwendeten dabei eine gemeinsame Kennung. Dadurch konnte der Dienst diese Eingaben zu einem einzigen identifizierbaren Profil zusammenführen. Unrealistisch? Und was geschieht bei den meisten von uns in ChatGPT oder Claude? Diese Zusammenführung führte zu einer Datenschutz- und Sicherheitsverletzung mit erheblichen Risiken hinsichtlich Re-Identifizierung, Compliance und Wettbewerb. Und die Frage ist, inwieweit ChatGPT oder Claude vertraut werden kann.

Bei einer weitverbreiteten Nutzung ohne geeignete Kontrollen können generative KI-Tools unbeabsichtigt als leistungsstarke Systeme zur Datenaggregation und Profilbildung agieren und zahlreiche kleine, scheinbar harmlose Eingaben in detaillierte, identifizierbare Nutzerprofile verwandeln. Organisationen sollten Eingabepunkte für Prompts als potenzielle Vektoren für die Datenerfassung behandeln und strenge Richtlinien, geprüfte interne Tools sowie Überwachungsmaßnahmen durchsetzen, um eine quellenübergreifende Re-Identifizierung und einen Missbrauch zu verhindern.

Es sollten private bzw. On-Premises-Modelle oder Enterprise-Angebote verwendet werden, die eine erneute Nutzung hochgeladener Daten untersagen. Dies ist die einzig sinnvolle Lösung.