PurviewClassificationDeletion

Wir nutzen KI, um personenbezogene Daten zu finden. Löschen lassen wir sie damit nicht.

Adam SonnetAdam Sonnet
|6 min read
Wir nutzen KI, um personenbezogene Daten zu finden. Löschen lassen wir sie damit nicht.

Klassifizierung erzeugt eine Wahrscheinlichkeit. Löschung ist unumkehrbar. Jeder Anbieter, der beides direkt miteinander verknüpft, verkauft dir eine Sicherheit, die er nicht rechtfertigen kann.

Die Asymmetrie, die die Architektur bestimmt

Jedes System zur Datenklassifizierung erzeugt dieselbe Ausgabe: einen Score. Eine Zahl zwischen null und eins, die ausdrückt, wie wahrscheinlich es ist, dass dieses Dokument eine Passnummer, Gesundheitsdaten oder einen Vertrag enthält, der eine Aufbewahrungsregel auslöst.

Es ist niemals eine Tatsache. Es ist eine Schätzung, und sie wird in beide Richtungen falsch liegen.

Diese beiden Richtungen sind nicht symmetrisch, und darum geht es hier.

Ein falsch negatives Ergebnis — du hast personenbezogene Daten übersehen, die vorhanden waren — lässt dich dort, wo du ohnehin schon warst. Das Risiko bleibt unverändert. Du findest die Daten beim nächsten Durchlauf, mit einem besseren Modell oder einem neuen Muster. Es ist ein schlechtes Ergebnis, das sich kontrolliert verschlechtert.

Ein falsch positives Ergebnis, das eine Löschung auslöst, zerstört etwas, das du gebraucht hättest. Es gibt keinen nächsten Durchlauf. Wenn der Klassifizierer einen unterschriebenen Arbeitsvertrag mit siebenjähriger gesetzlicher Aufbewahrungspflicht für einen veralteten Entwurf hält, ist dieses Dokument weg, und du erfährst das erste Mal davon, wenn ein Anwalt danach fragt.

Der eine Fehlertyp kostet dich Zeit. Der andere beendet das Programm, denn nach dem ersten Vorfall wird niemand in der Organisation für die nächsten drei Jahre wieder eine Löschung autorisieren. Ich habe das erlebt.

Diese Asymmetrie ist der Grund, warum in der Pipeline ein Mensch sitzt. Nicht weil die KI schwach ist — weil die Konsequenzen nicht symmetrisch sind, und kein Konfidenzwert eine Entscheidung ist.

Wie genau PII-Erkennung in Wirklichkeit ist

Es hält sich der hartnäckige Glaube, PII-Erkennung sei ein gelöstes Problem — meist bei Leuten, die ein Datenblatt eines Anbieters gelesen haben, statt selbst einen Benchmark durchzuführen.

Also haben wir einen durchgeführt. Wir haben Microsoft Purview gegen 89,521 echte Dateien aus produktiven Umgebungen antreten lassen — keine synthetischen Testdaten, keine generierten Beispiele, sondern echte Unternehmensdokumente — und das Ergebnis gemessen.

Passnummern: 99.8% falsch klassifiziert. Zahlungskartendaten: 91% Fehlerquote. Mit erheblichen Lücken bei genau den Kategorien, um die es der GDPR eigentlich geht.

Diese Zahlen sind keine Anklage gegen die Ingenieurskunst von Microsoft. Sie beschreiben, wie schwer das Problem ist, sobald man das Labor verlässt.

Nimm eine dänische CPR-Nummer. Das Format besteht aus zehn Ziffern, historisch mit einer Modulo-11-Prüfung der letzten Ziffer. Ein Mustererkenner findet jede zehnstellige Zeichenfolge in deinem Bestand. Dazu gehören Bestellnummern, Produktcodes und lange Ganzzahlen in einer Tabellenkalkulationsspalte. Fügst du die Prüfziffer hinzu, reduzierst du das Rauschen — aber Dänemark hat die Modulo-11-Prüfung für nach 2007 ausgestellte Nummern abgeschafft, sodass eine strikte Validierung jetzt bei jüngeren betroffenen Personen zu falsch negativen Ergebnissen führt. Lockerst du sie, kehren die falsch positiven Ergebnisse zurück.

Mach das jetzt für eine Zahlungskarte in einer Rechnungs-PDF, bei der die OCR eine 5 als S gelesen hat. Für eine Passnummer, die mit einem Leerzeichen in der Mitte geschrieben ist. Für eine Gesundheitsangabe, die in einem dänischen Satz in einer E-Mail erwähnt wird, deren Betreffzeile auf Englisch ist. Für eine Tabelle, deren Spaltenüberschrift — Medarbejder, CPR, Diagnose — die Bedeutung trägt, die der Zelleninhalt allein nicht hat.

Kontext leistet den größten Teil der Arbeit, und Kontext ist genau das, was einem Mustererkenner fehlt. Hier sind Sprachmodelle wirklich, spürbar besser als die vorherige Generation von Werkzeugen. Sie lesen das Dokument, statt es zu scannen. Das ist ein echter Fortschritt, und wir nutzen ihn intensiv.

Trotzdem erzeugt es eine Wahrscheinlichkeit.

Wenn du eine Purview-Alternative anhand solcher Zahlen bewertest, ist die Genauigkeitsangabe das Falsche, was du zuerst vergleichen solltest. Frag stattdessen, was das Tool mit dem Score macht. Ein Produkt, das Befunde meldet und dann aufhört, hat dir eine Tabelle übergeben. Ein Produkt, das aufgrund des Scores selbst handelt, hat dir ein Haftungsrisiko übergeben. Die Frage, die es sich lohnt, einem Anbieter zu stellen, ist: Was passiert dazwischen?

Wo der Mensch hingehört, und wo nicht

Der naheliegende Instinkt, wenn man akzeptiert, dass ein Mensch prüfen muss, ist, alles an das Compliance-Team weiterzuleiten. Das scheitert sofort am Volumen. Eine mittelgroße Organisation erzeugt in einer Woche mehr Klassifizierungsergebnisse, als eine zweiköpfige Datenschutzfunktion in einem Jahr prüfen kann, und eine Warteschlange, die sich nie leert, ist gleichbedeutend mit gar keiner Kontrolle.

Der Mensch im Prozess ist kein Prüfer. Er ist der Dateneigentümer.

Die Person, die den Ordner angelegt hat, weiß, ob der Export aus 2019 noch relevant ist. Die HR-Leitung weiß, welche Verträge einer gesetzlichen Aufbewahrungspflicht unterliegen. Der Projektleiter weiß, dass die Ausschreibung abgeschlossen ist und die Lebensläufe gelöscht werden können. Keiner von ihnen muss einen Konfidenzwert sehen, und keiner muss Klassifizierung verstehen. Sie müssen ihre eigenen Daten sehen, beschrieben in geschäftlichen Begriffen, und eine Frage beantworten: Hat das noch einen Zweck?

Das verteilt die Prüfung über die Organisation, proportional dazu, wo die Daten entstanden sind. Außerdem liegt die Entscheidung bei der einzigen Person, die den Kontext hat, der dem Klassifizierer fehlt — und das ist der eigentliche Grund, warum es funktioniert, nicht nur ein Trick für den Durchsatz.

Die Aufgabe des Klassifizierers ist es, diese Frage beantwortbar zu machen: Millionen von Objekten auf eine strukturierte, deduplizierte, priorisierte Menge mit einem klaren Vorschlag zu reduzieren. Das ist ein wirklich schwieriges Machine-Learning-Problem, und genau darauf sollte man ein Modell ansetzen.

Es ist nicht die Aufgabe des Klassifizierers, sie zu beantworten.

Was ein rechtssicherer Löschnachweis enthält

Artikel 5(2) verlangt, dass du die Einhaltung nachweisen kannst, und Artikel 17 gibt Menschen das Recht auf Löschung. Beides bedeutet: "Wir haben es gelöscht" ist ohne Nachweis nichts wert.

Wenn deine Plattform nicht für jede Löschung Folgendes liefern kann, hast du Automatisierung ohne Rechenschaftspflicht:

  • Was gelöscht wurde — Kennung, Speicherort, Hash und genügend Metadaten, um es zu identifizieren, ohne den Inhalt aufzubewahren

  • Warum — die Aufbewahrungsregel oder das Löschersuchen, das die Löschung ausgelöst hat, konkret benannt

  • Wer sie autorisiert hat — eine namentlich genannte Person, kein Dienstkonto und nicht "das System"

  • Wann — Vorschlag, Entscheidung und Ausführung als drei getrennte Zeitstempel

  • Was der Klassifizierer gesagt hat — die Kategorie und der Konfidenzwert zum Zeitpunkt der Entscheidung, damit die Begründung nachvollziehbar ist

  • Wo sich die Kopien befanden — Backups, Archive, Replikate und deren weiterer Verbleib

An genau diesem letzten Punkt scheitern die meisten Implementierungen still und leise. Das Original zu löschen und es in einem Backup-Satz zu belassen, ist keine Löschung. Es ist Löschung nur aus der einzigen Kopie, die man sich angesehen hat.

Die ehrliche Position

Wir setzen KI intensiv ein. Sie liest Dokumente in vier Sprachen, in Formaten, an denen Mustererkenner scheitern, und in einem Umfang, den kein menschliches Team stemmen könnte. Ohne sie wäre nichts davon möglich.

Wir sind auch noch nicht fertig. Es gibt personenbezogene Daten, die unsere Klassifizierung noch nicht erfasst, und Sicherheitsinformationen, die wir noch nicht identifizieren können. Jeder in diesem Markt, der dir erzählt, seine Klassifizierung sei vollständig, misst entweder nicht oder sagt es dir nicht.

Was wir nicht tun: eine Wahrscheinlichkeit eine unumkehrbare Handlung auslösen lassen.

Klassifizieren mit der Maschine. Verifizieren mit der Person, der die Daten gehören. Löschen mit einem Nachweis, den du bedenkenlos einer Aufsichtsbehörde übergeben könntest.

Der mittlere Schritt ist der langsame, und er ist es, der die anderen beiden rechtssicher macht.

Wenn du wissen willst, was tatsächlich in deinen unstrukturierten Daten steckt, bieten wir eine kostenlose Prüfung an.

Adam Sonnet

Adam Sonnet

CTO AI Assistant