Hvad er Explainable AI (XAI)?

Explainable AI (XAI) er metoder og arbejdsprincipper, der gør AI-modellers output forståelige for mennesker. XAI forklarer, hvilke data, mønstre eller features der påvirker en beslutning, så du kan vurdere tillid, fejl, bias, ansvar og praktisk anvendelse.

Hvordan adskiller XAI sig fra almindelig modeltransparens?

Explainable AI handler ikke kun om at vise, at en AI-model findes, eller at den bruger bestemte datakilder. XAI går tættere på forbindelsen mellem input, modeladfærd og output. Målet er at gøre det muligt at forstå, hvorfor en model foreslår en klassifikation, rangering, anbefaling, risiko-score eller tekstbaseret konklusion.

Transparens kan være bredere end forklarbarhed. En organisation kan være transparent om formål, datasæt, systemejere, begrænsninger og kontrolprocesser uden at kunne forklare hver enkelt prediction teknisk. XAI er den del af transparensen, der forsøger at gøre modellens konkrete beslutningsgrundlag forståeligt for mennesker med forskellige roller.

Fortolkelighed ligger tæt på XAI, men bruges ofte om modeller, der i sig selv er lettere at forstå. Et simpelt beslutningstræ kan være fortolkeligt, fordi reglerne kan læses direkte. En dyb neuralt netværksmodel kræver typisk forklaringsmetoder oven på modellen, fordi sammenhængen mellem vægte, lag og output er svær at gennemskue. Den forskel er central, når du sammenligner machine learning og deep learning.

Hvilke problemer prøver XAI at løse?

XAI forsøger at mindske afstanden mellem en models statistiske output og den menneskelige vurdering, der følger efter. En model kan være teknisk præcis og stadig være svær at bruge forsvarligt, hvis ingen kan forklare, hvilke signaler der driver dens resultater, eller hvornår dens svar bør afvises.

Forklarbarhed bliver især relevant, når AI bruges i beslutninger med konsekvenser for mennesker, økonomi, sikkerhed eller drift. Det kan være kreditvurdering, rekruttering, sundhedsprioritering, svindelovervågning, kundesegmentering, søgning i vidensbaser eller automatiseret sagsforberedelse. I sådanne situationer er et resultat sjældent nok; der er også brug for begrundelse, sporbarhed og mulighed for at finde fejl.

De praktiske problemer kan samles i fire spørgsmål:

• Kan brugeren forstå, hvorfor outputtet ser ud, som det gør?
• Afspejler forklaringen faktisk modellens proces, eller er den kun en pæn efterforklaring?
• Kan forklaringen bruges til at opdage bias, datalækage eller usikre resultater?
• Ved systemet, hvornår det er uden for sit gyldige anvendelsesområde?

Hvordan fungerer en forklaring i praksis?

En XAI-forklaring oversætter tekniske signaler til information, som en bestemt modtager kan bruge. En data scientist kan have brug for feature-vægte, residualer og distributionsskift. En sagsbehandler kan have brug for de tre mest afgørende faktorer bag en anbefaling. En slutbruger kan have brug for en kort, handlingsrettet forklaring på, hvorfor et automatisk forslag blev givet.

NIST beskriver fire principper, der er nyttige som praktisk ramme: systemet skal give en forklaring, forklaringen skal være meningsfuld for modtageren, forklaringen skal afspejle den faktiske proces, og systemet skal kende sine vidensgrænser. Den sidste del er ofte overset. En forklaring uden klar grænse for gyldighed kan skabe falsk tryghed.

En god forklaring bør derfor ikke kun sige “feature A havde stor betydning”. Den bør også vise, om inputtet ligger tæt på træningsdata, om modellen har lav tillid, om lignende sager ofte behandles anderledes, og om der findes kontrolpunkter, som et menneske skal tage stilling til før brug.

Hvilke metoder bruges typisk til XAI?

XAI-metoder kan groft opdeles efter, om de forklarer hele modellen eller én konkret prediction. Globale forklaringer beskriver modellens generelle adfærd. Lokale forklaringer beskriver, hvorfor et bestemt input fik et bestemt output. Begge typer kan være relevante, men de svarer på forskellige spørgsmål.

LIME og SHAP er udbredte, fordi de kan bruges på komplekse modeller uden nødvendigvis at ændre selve modellen. Det gør dem praktiske, men også begrænsede. En post-hoc-forklaring er en analyse af modellens adfærd; den er ikke automatisk et bevis for, at modellen “tænker” på samme måde som forklaringen beskriver.

Hvornår er en simpel model bedre end en forklaring oven på en kompleks model?

Nogle problemer kræver ikke den mest komplekse model. Hvis en lineær model, en regelbaseret model eller et lille beslutningstræ giver tilstrækkelig præcision, kan den være bedre end en sort boks med efterfølgende forklaringer. Det gælder især, når beslutningen skal kunne forklares stabilt, gentages og kontrolleres af flere personer.

En kompleks model kan være relevant, når datamønstrene er ikke-lineære, datamængden er stor, eller opgaven kræver billed-, tale- eller sprogforståelse. Her kan XAI give nødvendig indsigt, men den gør ikke modellen enkel. Forklaringen bliver et kontrolinstrument, ikke en fuld åbning af hele modellen.

Et praktisk valg kan formuleres sådan: Start med den enkleste model, der løser opgaven tilfredsstillende. Brug mere komplekse modeller, når de dokumenteret giver bedre resultater på relevante testdata. Kræv derefter forklaringer, overvågning og menneskelige kontrolpunkter, der passer til risikoen ved den konkrete anvendelse.

Hvilke begrænsninger har XAI?

XAI kan gøre AI mere forståelig, men det kan ikke fjerne alle usikkerheder. En forklaring kan være lokal, forenklet eller afhængig af antagelser om data. Hvis data er skæve, utilstrækkelige eller ikke repræsentative, kan en forklaring tydeliggøre problemet, men den reparerer det ikke alene.

En anden begrænsning er, at forklaringer kan se overbevisende ud uden at være trofaste mod modellens faktiske proces. Det er en risiko ved metoder, der tilnærmer sig en kompleks model med en simplere forklaring. Forklaringen skal derfor evalueres: Er den stabil ved små ændringer i input? Stemmer den med domæneviden? Fanger den kendte fejltilfælde? Kan den misbruges til at retfærdiggøre en beslutning, der burde undersøges nærmere?

XAI er heller ikke det samme som fuld adgang til træningsdata, kildekode eller interne vægte. I kommercielle eller sikkerhedsfølsomme systemer vil der ofte være grænser for, hvad der kan deles. Forklarbarhed skal derfor balancere mellem brugerens behov, forretningshemmeligheder, datasikkerhed, persondata og risikoen for, at forklaringer kan hjælpe nogen med at omgå systemet.

Hvordan hænger XAI sammen med bias og datakvalitet?

XAI kan gøre bias lettere at opdage, fordi forklaringer viser, hvilke features eller datamønstre der påvirker output. Hvis en model for eksempel bruger postnummer, historisk løn, ansættelseshuller eller indirekte signaler for alder og køn, kan forklaringer hjælpe med at finde mønstre, der bør undersøges. Det er tæt forbundet med håndtering af bias i AI.

Biaskontrol kræver dog mere end forklaringer. Du skal også kende datasættets oprindelse, repræsentativitet, labels, målefejl og formål. En model kan give en teknisk korrekt forklaring og stadig være uegnet, hvis historiske data afspejler en praksis, som organisationen ikke ønsker at videreføre.

Et godt XAI-setup kobler derfor forklaring til datastyring. Det bør vise, hvilke datakilder der bruges, hvilke features der er tilladt, hvilke features der er udelukket, hvilke grupper der testes særskilt, og hvordan fejl bliver fulgt op. Forklaringen bliver stærkere, når den står sammen med dokumenteret datakvalitet og løbende modelovervågning.

Hvad betyder XAI for generativ AI og sprogmodeller?

Forklarbarhed er sværere for generativ AI end for mange klassiske tabulære modeller. En sprogmodel producerer tekst ved at beregne sandsynlige næste tokens i en kontekst, men en læsbar begrundelse efter svaret er ikke nødvendigvis en trofast teknisk forklaring på hele processen. Den kan være nyttig, men den bør ikke behandles som en fuld intern modelanalyse.

For generativ AI kan XAI i praksis handle om sporbarhed omkring input, kilder, retrieval, systemregler, værktøjsbrug, sikkerhedsfiltre og evalueringsresultater. Hvis en model svarer på baggrund af en intern vidensbase, er det ofte mere nyttigt at vise de konkrete kildedokumenter og usikkerheder end at forsøge at forklare hvert neuralt vægtbidrag.

Forklarbarhed i sprogmodeller bør derfor kombineres med andre kontroller: kildehenvisninger, logning af ændringer, test mod kendte fejl, klare afvisninger ved usikre spørgsmål og menneskelig gennemgang i højrisikoopgaver. Det er især relevant, når modeller bruges til analyser, kundesvar, kodeforslag eller beslutningsstøtte i organisationer.

Hvilken rolle spiller XAI i governance og compliance?

XAI er en del af AI-governance, men det er ikke hele governance-arbejdet. Governance omfatter også ansvar, roller, risikoklassifikation, datasikkerhed, leverandørstyring, dokumentation, monitorering og proces for fejl. Forklarbarhed støtter disse elementer ved at gøre modeloutput mere efterprøveligt. Sammenhængen er tæt på de spørgsmål, der behandles i AI-governance.

I EU AI Act er der krav til transparens og information for high-risk AI-systemer. Reglen betyder ikke, at alle AI-systemer skal have samme type XAI, og den gør ikke en bestemt metode som SHAP eller LIME obligatorisk. Den peger derimod på, at brugere af high-risk AI-systemer skal have information, der kan hjælpe dem med at fortolke output og udøve menneskeligt tilsyn, når systemet er omfattet af reglerne.

For organisationer er den praktiske konsekvens, at forklarbarhed bør kobles til risikoniveau. Et lavrisikoværktøj til intern sortering kræver typisk mindre dokumentation end et system, der påvirker ansættelse, kredit, adgang til ydelser, sikkerhed eller sundhed. Jo større konsekvens, desto mere skal forklaringen kunne testes, gemmes, genfindes og forstås af de ansvarlige personer.

Hvordan vurderer du om en forklaring er brugbar?

En brugbar forklaring skal passe til beslutningen og modtageren. En teknisk forklaring kan være præcis for en modeludvikler og ubrugelig for en driftsleder. En kort brugerforklaring kan være klar for en slutbruger og for upræcis til audit. Derfor bør forklaringsniveauet defineres før systemet tages i brug.

Du kan vurdere forklaringen med disse kontrolspørgsmål:

• Beskriver forklaringen de faktorer, der faktisk påvirkede outputtet?
• Er forklaringen forståelig for den person, der skal handle på den?
• Viser forklaringen usikkerhed, undtagelser eller gyldighedsgrænser?
• Kan forklaringen gentages for samme input og undersøges ved fejl?
• Skelner forklaringen mellem korrelation, sandsynlighed og årsag?

Den sidste sondring er praktisk vigtig. En model kan vise, at en feature har stor statistisk betydning, uden at featuret er en legitim eller kausal grund til en beslutning. XAI bør derfor bruges sammen med faglig vurdering, datakontrol og klare regler for, hvilke signaler der må påvirke output.

Hvordan kan XAI indgå i en praktisk arbejdsproces?

En enkel arbejdsproces begynder med formålet: Hvilken beslutning eller anbefaling skal AI-systemet støtte, og hvem skal kunne forstå outputtet? Derefter vælges modeltype, datagrundlag og forklaringsniveau. Hvis forklaringen først tilføjes efter drift, bliver den ofte et plaster på et system, der ikke er designet til at kunne kontrolleres.

En praktisk XAI-proces kan se sådan ud:

1. Definer beslutningen, målgruppen og konsekvensen af fejl.
2. Vælg den enkleste modeltype, der realistisk kan løse opgaven.
3. Beslut hvilke forklaringer der kræves globalt og lokalt.
4. Test forklaringer mod kendte eksempler, biasrisici og domæneviden.
5. Gem forklaringer, versioner og datagrundlag, så fejl kan undersøges senere.
6. Indfør menneskelige stop- og eskaleringspunkter ved usikkerhed.

Arbejdsprocessen bør også indeholde en klar afgrænsning af, hvad systemet ikke må bruges til. Det hænger sammen med grundforståelsen af hvad kunstig intelligens er: AI-systemer finder mønstre og producerer sandsynlige output, men de erstatter ikke automatisk fagligt ansvar, kontekstforståelse eller menneskelig vurdering.

Hvornår giver XAI mest værdi?

XAI giver mest værdi, når en forklaring ændrer en beslutning, forbedrer en kontrol eller gør en risiko synlig. Hvis forklaringen aldrig bruges, er den kun dokumentation uden funktion. Den bør derfor knyttes til konkrete handlinger: afvisning af usikre output, manuel gennemgang, modeljustering, datarensning eller eskalering til en ansvarlig person.

Værdien er typisk høj i tre situationer. Den første er før implementering, hvor forklaringer kan afsløre uventede datamønstre. Den anden er i drift, hvor forklaringer kan støtte brugeren i at vurdere output. Den tredje er efter fejl, hvor forklaringer kan hjælpe med at rekonstruere, hvorfor systemet handlede som det gjorde.

Den mest nyttige XAI er derfor ikke nødvendigvis den mest detaljerede. Den bedste forklaring er den, der er trofast nok til at kunne kontrolleres, enkel nok til at blive brugt og tydelig nok til at vise, hvornår modellen ikke bør stå alene.

Hvilke kilder ligger til grund?

Artiklen bygger især på NISTs fire principper for Explainable AI, som beskriver forklaring, meningsfuldhed, forklaringsnøjagtighed og vidensgrænser. Den praktiske risikostyringsvinkel er sammenholdt med NIST AI Risk Management Framework.

De tekniske metoder er kontrolleret mod de oprindelige forskningsartikler om LIME-forklaringer af klassifikationsmodeller og SHAP som additiv fortolkningsramme. Den europæiske reguleringsvinkel er afgrænset efter Regulation (EU) 2024/1689, især bestemmelserne om transparens og menneskeligt tilsyn for high-risk AI-systemer.