Vi använder AI för att hitta personuppgifter. Vi låter den inte radera något.

Klassificering ger en sannolikhet. Radering är oåterkalleligt. Alla leverantörer som kopplar samman dessa två direkt säljer dig en visshet de inte kan rättfärdiga.

Asymmetrin som avgör arkitekturen

Varje system för klassificering av data ger samma slags utdata: en poäng. Ett tal mellan noll och ett som uttrycker hur sannolikt det är att dokumentet innehåller ett passnummer, hälsodata, eller ett avtal som utlöser en lagringsregel.

Det är aldrig ett faktum. Det är en uppskattning, och den kommer att vara fel åt båda hållen.

De två hållen är inte symmetriska, och det är hela poängen.

Ett falskt negativt — du missade personuppgifter som fanns där — lämnar dig där du redan var. Risken är oförändrad. Du hittar det vid nästa genomgång, med en bättre modell eller ett nytt mönster. Det är ett dåligt utfall som degraderas mjukt.

Ett falskt positivt som utlöser radering förstör något du behövde. Det finns ingen nästa genomgång. Om klassificeraren beslutade att ett undertecknat anställningsavtal med en lagstadgad sjuårig lagringsskyldighet var ett föråldrat utkast, är det dokumentet borta, och första gången du får veta det är när en advokat ber om det.

Ett felläge kostar dig tid. Det andra avslutar programmet, för efter den första incidenten kommer ingen i organisationen att auktorisera radering igen på tre år. Jag har sett det hända.

Den asymmetrin är anledningen till att flödet har en människa i sig. Inte för att AI:n är svag — utan för att konsekvenserna inte är symmetriska, och ingen konfidenspoäng är ett beslut.

Hur noggrannheten i PII-detektion faktiskt ser ut

Det finns en envis föreställning om att PII-detektion är ett löst problem, oftast hos personer som har läst ett datablad från en leverantör snarare än kört ett benchmark.

Så vi körde ett. Vi ställde Microsoft Purview mot 89 521 verkliga filer från produktionsmiljöer — inte syntetisk testdata, inte genererade exempel, faktiska företagsdokument — och mätte det.

Passnummer: 99,8 % felklassificerade. Betalkortsuppgifter: 91 % felfrekvens. Med betydande luckor mot de kategorier som GDPR faktiskt bryr sig om.

Dessa siffror är inte en anklagelse mot Microsofts ingenjörskonst. De är en beskrivning av hur svårt problemet är när man lämnar laboratoriet.

Ta ett danskt CPR-nummer. Formatet är tio siffror, historiskt med en modulus-11-kontroll på den sista siffran. En mönstermatchare hittar varenda tiosiffrig sträng i din miljö. Det inkluderar ordernummer, produktkoder och långa heltal i en kalkylbladskolumn. Lägg till kontrollsiffran och du minskar bruset — men Danmark slutade upprätthålla modulus-11 för nummer utfärdade efter 2007, så strikt validering ger nu falska negativa för yngre registrerade. Luckra upp den och de falska positiva kommer tillbaka.

Gör nu det för ett betalkort i en fakturafil i PDF-format där OCR läste en 5 som ett S. För ett passnummer skrivet med ett mellanslag i mitten. För ett hälsotillstånd nämnt i en dansk mening i ett e-postmeddelande vars ämnesrad är på engelska. För ett kalkylblad vars kolumnrubrik — Medarbejder, CPR, Diagnose — bär betydelsen som cellinnehållet ensamt inte gör.

Kontext gör det mesta av jobbet, och kontext är precis det en mönstermatchare saknar. Det är här språkmodeller är genuint, påtagligt bättre än den föregående generationen verktyg. De läser dokumentet i stället för att skanna det. Det är ett verkligt framsteg och vi använder det flitigt.

Det ger fortfarande en sannolikhet.

Om du utvärderar ett alternativ till Purview utifrån siffror som dessa är noggrannhetssiffran fel sak att jämföra först. Fråga istället vad verktyget gör med poängen. En produkt som rapporterar resultat och stannar där har gett dig ett kalkylblad. En produkt som agerar på poängen av sig själv har gett dig ett ansvar. Frågan värd att ställa till en leverantör är vad som händer mellan dessa två.

Var människan hör hemma, och var hon inte gör det

Instinkten, när man accepterar att en människa måste granska, är att skicka allt till efterlevnadsteamet. Det misslyckas omedelbart på grund av volym. En medelstor organisation genererar fler klassificeringsresultat på en vecka än en DPO-funktion på två personer kan granska på ett år, och en kö som aldrig töms är detsamma som ingen kontroll alls.

Människan i loopen är inte en granskare. Det är dataägaren.

Personen som skapade mappen vet om exporten från 2019 fortfarande spelar roll. HR-chefen vet vilka avtal som omfattas av lagstadgad lagring. Projektledaren vet att upphandlingen stängdes och att CV:erna kan slängas. Ingen av dem behöver se en konfidenspoäng, och ingen av dem behöver förstå klassificering. De behöver se sin egen data, beskriven i affärstermer, och svara på en fråga: har detta fortfarande ett syfte?

Det fördelar granskningen över organisationen i proportion till var datan skapades. Det placerar också beslutet hos den enda person som besitter den kontext klassificeraren saknar — vilket är den egentliga anledningen till att det fungerar, inte bara ett trick för genomströmning.

Klassificerarens uppgift är att göra den frågan besvarbar: reducera miljontals objekt till en strukturerad, deduplicerad, prioriterad uppsättning med ett tydligt förslag bifogat. Det är ett genuint svårt maskininlärningsproblem och det är rätt sak att rikta en modell mot.

Klassificerarens uppgift är inte att besvara den.

Vad en försvarbar raderingsjournal innehåller

Artikel 5(2) kräver att du kan visa efterlevnad, och artikel 17 ger människor rätten till radering. Båda innebär att "vi raderade det" inte är värt något utan bevis.

Om din plattform inte kan producera följande för varje radering har du automation utan ansvarsskyldighet:

• Vad som raderades — identifierare, plats, hash, och tillräckligt med metadata för att identifiera det utan att behålla innehållet

• Varför — lagringsregeln eller raderingsbegäran som utlöste det, specifikt angiven

• Vem som auktoriserade det — en namngiven person, inte ett tjänstekonto, och inte "systemet"

• När — förslag, beslut och genomförande som tre separata tidsstämplar

• Vad klassificeraren sa — kategorin och konfidensen vid beslutstillfället, så resonemanget går att rekonstruera

• Var kopiorna fanns — säkerhetskopior, arkiv, repliker, och deras hantering

Den sista punkten är där de flesta implementationer tyst misslyckas. Att radera originalet och lämna det kvar i en säkerhetskopia är inte radering. Det är radering från den enda kopia du tittade på.

Den ärliga positionen

Vi använder AI aggressivt. Den läser dokument på fyra språk, i format som slår ut mönstermatchare, i en volym inget mänskligt team skulle kunna närma sig. Utan den är inget av detta möjligt.

Vi är inte heller klara. Det finns personuppgifter vår klassificering ännu inte fångar, och säkerhetsinformation vi inte har lärt oss att identifiera. Alla på den här marknaden som säger att deras klassificering är komplett mäter antingen inte eller berättar inte för dig.

Det vi inte gör är att låta en sannolikhet utlösa en oåterkallelig handling.

Klassificera med maskinen. Verifiera med personen som äger datan. Radera med en journal du skulle vara bekväm med att lämna till en tillsynsmyndighet.

Mellansteget är det långsamma, och det är det som gör de andra två försvarbara.

Om du vill veta vad som faktiskt ligger i din ostrukturerade data, kör vi en kostnadsfri genomgång.