Vi bruger AI til at finde personoplysninger. Vi lader den ikke slette noget.

Klassificering producerer en sandsynlighed. Sletning er irreversibel. Enhver leverandør, der forbinder de to direkte, sælger dig en sikkerhed, de ikke kan begrunde.

Asymmetrien, der bestemmer arkitekturen

Ethvert system til klassificering af data producerer det samme output: en score. Et tal mellem nul og én, der udtrykker sandsynligheden for, at dette dokument indeholder et pasnummer, helbredsoplysninger eller en kontrakt, der udløser en opbevaringsregel.

Det er aldrig et faktum. Det er et estimat, og det vil tage fejl i begge retninger.

De to retninger er ikke symmetriske, og det er hele pointen.

En falsk negativ — du overså personoplysninger, der var der — efterlader dig, hvor du allerede var. Risikoen er uændret. Du vil finde det ved næste gennemgang, med en bedre model eller et nyt mønster. Det er et dårligt udfald, der degraderer elegant.

En falsk positiv, der udløser sletning, ødelægger noget, du havde brug for. Der er ingen næste gennemgang. Hvis klassifikatoren besluttede, at en underskrevet ansættelseskontrakt underlagt en lovbestemt opbevaringspligt på syv år var et forældet udkast, er det dokument væk, og første gang du opdager det, er, når en advokat beder om det.

Den ene fejltype koster dig tid. Den anden afslutter programmet, fordi ingen i organisationen vil autorisere sletning igen i tre år efter den første hændelse. Jeg har set det ske.

Den asymmetri er grunden til, at der er et menneske i pipelinen. Ikke fordi AI'en er svag — men fordi konsekvenserne ikke er symmetriske, og ingen konfidensscore er en beslutning.

Hvordan nøjagtigheden af PII-detektion faktisk ser ud

Der findes en vedholdende tro på, at PII-detektion er et løst problem, som regel blandt folk, der har læst et leverandørs datablad frem for at have kørt et benchmark.

Så vi kørte et. Vi satte Microsoft Purview op mod 89,521 rigtige filer fra produktionsmiljøer — ikke syntetiske testdata, ikke genererede eksempler, men faktiske virksomhedsdokumenter — og målte det.

Pasnumre: 99.8% fejlklassificeret. Betalingskortoplysninger: 91% fejlrate. Med betydelige huller i forhold til de kategorier, GDPR faktisk bekymrer sig om.

De tal er ikke en fordømmelse af Microsofts ingeniørarbejde. De er en beskrivelse af, hvor svært problemet er, når man forlader laboratoriet.

Tag et dansk CPR-nummer. Formatet er ti cifre, historisk med et modulus-11-tjek på det sidste ciffer. En mønstergenkender finder enhver streng på ti cifre i din datamængde. Det inkluderer ordrenumre, produktkoder og lange heltal i en regnearkskolonne. Tilføjer man kontrolcifret, reducerer man støjen — men Danmark holdt op med at håndhæve modulus-11 for numre udstedt efter 2007, så streng validering nu producerer falske negativer for yngre registrerede. Løsner man det, vender de falske positiver tilbage.

Gør nu det samme for et betalingskort i en faktura-PDF, hvor OCR læste et 5-tal som et S. For et pasnummer skrevet med et mellemrum i midten. For en helbredstilstand nævnt i en dansk sætning i en e-mail, hvis emnelinje er på engelsk. For et regneark, hvis kolonneoverskrift — Medarbejder, CPR, Diagnose — bærer den betydning, som celleindholdet alene ikke gør.

Konteksten udfører det meste af arbejdet, og konteksten er præcis det, en mønstergenkender mangler. Det er her, sprogmodeller er reelt og markant bedre end den forrige generation af værktøjer. De læser dokumentet i stedet for at skanne det. Det er et reelt fremskridt, og vi bruger det i vid udstrækning.

Det producerer stadig en sandsynlighed.

Hvis du overvejer et Purview-alternativ på baggrund af tal som disse, er nøjagtighedstallet det forkerte at sammenligne først. Spørg i stedet, hvad værktøjet gør med scoren. Et produkt, der rapporterer fund og stopper der, har givet dig et regneark. Et produkt, der handler på scoren på egen hånd, har givet dig et ansvar. Det spørgsmål, det er værd at stille en leverandør, er, hvad der sker mellem de to.

Hvor mennesket hører hjemme, og hvor det ikke gør

Instinktet, når man accepterer, at et menneske skal gennemgå det, er at sende alt til compliance-teamet. Det fejler øjeblikkeligt på volumen. En mellemstor organisation genererer flere klassificeringsresultater på en uge, end en DPO-funktion med to personer kan nå at gennemgå på et år, og en kø, der aldrig tømmes, svarer til slet ingen kontrol.

Mennesket i loopet er ikke en kontrollant. Det er dataejeren.

Personen, der oprettede mappen, ved, om eksporten fra 2019 stadig er relevant. HR-lederen ved, hvilke kontrakter der er underlagt lovpligtig opbevaring. Projektlederen ved, at udbuddet er lukket, og at CV'erne kan slettes. Ingen af dem behøver at se en konfidensscore, og ingen af dem behøver at forstå klassificering. De skal se deres egne data, beskrevet i forretningstermer, og besvare ét spørgsmål: har dette stadig et formål?

Det fordeler gennemgangen på tværs af organisationen i forhold til, hvor dataene blev skabt. Det placerer også beslutningen hos den eneste person, der har den kontekst, klassifikatoren mangler — hvilket er den egentlige grund til, at det virker, ikke bare et trick til at øge gennemløbet.

Klassifikatorens opgave er at gøre det spørgsmål muligt at besvare: at reducere millioner af elementer til et struktureret, dedupliceret, prioriteret sæt med et klart forslag knyttet til. Det er et reelt svært maskinlæringsproblem, og det er det rigtige at rette en model mod.

Klassifikatorens opgave er ikke at besvare det.

Hvad en forsvarlig sletningsjournal indeholder

Artikel 5, stk. 2, kræver, at man kan dokumentere overholdelse, og artikel 17 giver folk retten til sletning. Begge betyder, at "vi slettede det" ikke er noget værd uden dokumentation.

Hvis din platform ikke kan fremvise alt det følgende for hver sletning, har du automatisering uden ansvarlighed:

• Hvad der blev slettet — identifikator, placering, hash og nok metadata til at identificere det uden at beholde indholdet

• Hvorfor — den opbevaringsregel eller sletningsanmodning, der udløste det, citeret specifikt

• Hvem der autoriserede det — en navngiven person, ikke en servicekonto, og ikke "systemet"

• Hvornår — forslag, beslutning og udførelse som tre separate tidsstempler

• Hvad klassifikatoren sagde — kategorien og konfidensen på beslutningstidspunktet, så ræsonnementet kan rekonstrueres

• Hvor kopierne var — backups, arkiver, replikaer og deres håndtering

Det sidste er der, hvor de fleste implementeringer stille og roligt fejler. At slette originalen og lade den blive i et backupsæt er ikke sletning. Det er sletning fra den eneste kopi, man kiggede på.

Den ærlige position

Vi bruger AI aggressivt. Den læser dokumenter på fire sprog, i formater, som mønstergenkendere ikke kan klare, i et volumen, intet menneskeligt team kunne matche. Uden den er intet af dette muligt.

Vi er heller ikke færdige. Der findes personoplysninger, vores klassificering endnu ikke fanger, og sikkerhedsinformation, vi ikke har lært at identificere. Alle i denne branche, der fortæller dig, at deres klassificering er fuldstændig, måler enten ikke eller siger det ikke.

Det, vi ikke gør, er at lade en sandsynlighed udløse en irreversibel handling.

Klassificér med maskinen. Verificér med den person, der ejer dataene. Slet med en journal, du trygt kunne give videre til en tilsynsmyndighed.

Det midterste trin er det langsomme, og det er det, der gør de to andre forsvarlige.

Hvis du vil vide, hvad der faktisk gemmer sig i dine ustrukturerede data, kører vi en gratis gennemgang.