Brug af generativ AI til risikoanalyse

Generativ AI kan støtte risikoanalyse ved at samle mulige risici, scenarier, årsager og kontroller i et struktureret overblik. Metoden kræver dog klare dataafgrænsninger, kildekontrol og menneskelig prioritering, fordi modellen kan overse kontekst, fremstille usikker viden som sikker og gentage bias i inputdata.

Hvad betyder brug af generativ AI til risikoanalyse?

Brug af generativ AI til risikoanalyse betyder, at en sprogmodel eller et andet generativt system hjælper med at formulere risici, finde mønstre i tekst, opstille scenarier, foreslå årsager og beskrive mulige kontroller. Den centrale værdi ligger i strukturering og idegenerering, ikke i at modellen alene afgør, hvad der er farligt, sandsynligt eller acceptabelt.

En risikoanalyse kræver normalt en afgrænset aktivitet, en forståelse af mulige hændelser, en vurdering af sandsynlighed og konsekvens samt en beslutning om behandling af risikoen. Generativ AI kan støtte flere af disse trin ved at gøre ustruktureret viden mere overskuelig. Den kan for eksempel omsætte notater, interviewuddrag, hændelsesbeskrivelser og procesbeskrivelser til et foreløbigt risikoregister.

Modellen bør behandles som en analyseassistent med begrænset kontekst. Den kender ikke nødvendigvis organisationens faktiske drift, kontrakter, sikkerhedsarkitektur, datakvalitet eller risikotolerance. Derfor skal dens forslag kontrolleres mod dokumentation, fagpersoner og de beslutningsregler, organisationen allerede bruger til risikostyring i AI-implementeringer.

Hvilke risici egner generativ AI sig til at undersøge?

Generativ AI egner sig især til at undersøge risici, hvor der findes tekst, beskrivelser, hændelsesrapporter, politikker eller kendte mønstre, som kan samles og sorteres. Det kan være operationelle risici, datasikkerhedsrisici, leverandørrisici, brugeradfærd, procesfejl, kvalitetsproblemer og risici knyttet til nye AI-funktioner.

Generativ AI er mindre velegnet som eneste metode, når analysen kræver præcis statistik, realtidsmålinger, beregning af økonomisk eksponering eller teknisk test af systemer. I de tilfælde kan modellen hjælpe med at forklare resultater og foreslå spørgsmål, men selve målingen bør komme fra data, test, kontroller eller faglige vurderinger.

Hvor stopper modellens analyse, og hvor begynder faglig vurdering?

Modellens analyse stopper dér, hvor teksten ikke længere kan afledes sikkert af de oplysninger, der er lagt ind, eller af kontrollerbare kilder. Den kan foreslå mulige årsager, men den kan ikke bevise, at årsagerne gælder i organisationen. Den kan beskrive en mulig konsekvens, men den kan ikke alene fastsætte den faktiske forretningsmæssige alvor.

Faglig vurdering begynder, når risici skal prioriteres, accepteres, overføres, reduceres eller overvåges. Her skal domæneviden, ledelsesmandat, datagrundlag og konkrete kontroller indgå. En model kan opstille et argument, men den har ikke ansvar for beslutningen og kender ikke alle lokale hensyn.

Et praktisk skel er at lade AI-forslag have status som hypoteser. Hver hypotese skal kobles til en kilde, et dataspor, en ansvarlig person eller en testbar antagelse. Hvis en risiko ikke kan forbindes med noget kontrollerbart, bør den enten undersøges videre eller markeres som usikker.

Hvilke data bør indgå før en model bruges?

Datagrundlaget bør afspejle den proces, der analyseres. Det kan omfatte procesbeskrivelser, systemoversigter, sikkerhedspolitikker, tidligere hændelser, interne kontroller, leverandøraftaler, dataflow, brugerroller og kendte undtagelser. Jo mere præcist grundlaget er, desto lettere er det at skelne mellem relevante risici og generiske forslag.

Datakvalitet er en selvstændig risikofaktor. Hvis input er forældet, uklart eller skævt, kan modellen give et velstruktureret, men misvisende resultat. Derfor bør du kontrollere, om dokumenterne er aktuelle, om begreber bruges ens, og om centrale fravalg er synlige. Arbejde med datakvalitet i generativ AI er ofte en forudsætning for brugbar risikoanalyse.

Følsomme oplysninger bør begrænses. Personoplysninger, forretningshemmeligheder, sikkerhedsarkitektur og kundedata skal håndteres efter organisationens regler for adgang, datadeling, logning og leverandørbrug. Hvis modellen leveres som ekstern tjeneste, skal det være klart, hvor data behandles, hvem der har adgang, og om input kan gemmes eller bruges til forbedring af tjenesten.

Hvordan kan arbejdet struktureres fra problem til handling?

En enkel arbejdsform er at dele risikoanalysen op i afgrænsning, identifikation, vurdering, kontrol og opfølgning. Generativ AI kan indgå i hvert trin, men rollen bør være forskellig. I starten kan modellen hjælpe med at brede problemfeltet ud. Senere bør den bruges mere kritisk til at teste mangler, alternativer og dokumentation.

1. Afgræns processen, systemet, datatypen eller beslutningen, som analysen handler om.
2. Indsaml godkendte kilder, herunder procesbeskrivelser, hændelser, kontroller og kendte krav.
3. Bed modellen gruppere mulige risici efter årsag, påvirket aktør, data, system og konsekvens.
4. Få fagpersoner til at fjerne generiske eller irrelevante risici og tilføje lokale forhold.
5. Vurder sandsynlighed, konsekvens og eksisterende kontroller ud fra dokumentation, ikke ud fra modelens formulering alene.
6. Beslut risikobehandling, ansvar, frist og opfølgningspunkt.

Denne struktur gør det lettere at udnytte modellens styrke uden at lade den overtage beslutningen. Den hjælper også med at dokumentere, hvilke dele der er maskinelt foreslået, og hvilke dele der er menneskeligt valideret.

Hvordan håndteres usikkerhed og konfabulering i analysen?

Generative modeller kan producere formuleringer, der lyder sikre, selv når indholdet er forkert, ufuldstændigt eller ikke understøttet af input. NISTs generative AI-profil bruger begrebet konfabulering om fejlagtigt eller falsk indhold, der præsenteres med høj sikkerhed. I risikoanalyse kan det give falsk tryghed eller unødvendig alarm.

Usikkerhed bør derfor fremgå direkte i risikoregisteret. Det kan ske med felter for kilde, datakvalitet, antagelse, vurderingsgrundlag og beslutningsstatus. Hvis AI-systemet foreslår en risiko uden kilde, kan den placeres i en undersøgelseskø i stedet for at blive behandlet som bekræftet.

• Kræv en kilde eller et konkret datapunkt for hver væsentlig risiko.
• Marker ukendte forhold som ukendte i stedet for at lade modellen udfylde dem.
• Brug modspørgsmål til at finde manglende antagelser, alternative årsager og svage kontroller.
• Sammenhold output med faktiske hændelser, systemdata og fagpersoners erfaringer.

Den bedste brug af generativ AI er ofte at få flere mulige vinkler på bordet. Den dårligste brug er at lade en sprogligt overbevisende tekst erstatte test, måling og ansvarlig vurdering.

Hvilke sikkerhedsrisici følger med selve AI-brugen?

Når generativ AI bruges til risikoanalyse, skaber værktøjet også nye risici. Det gælder især, hvis modellen får adgang til interne dokumenter, hændelsesrapporter, sårbarhedsoplysninger, persondata eller integrationsadgange. Dermed bliver selve analyseværktøjet en del af risikobilledet.

OWASP beskriver flere relevante LLM-applikationsrisici, herunder manipulation gennem indlejrede instruktioner, usikker håndtering af output, træningsdataforgiftning, model denial of service, leverandør- og komponentrisici, følsom informationslækage, overdreven autonomi og overreliance. Disse risici er praktiske kontrolpunkter, når du bruger generativ AI i analyser af sikkerhed, data eller drift.

Hvis modellen kan læse filer, slå op i interne systemer eller kalde værktøjer, bør rettighederne afgrænses snævert. Den bør kun have adgang til de data og handlinger, opgaven kræver. Tekster om sikkerhedsudfordringer ved generativ AI og forebyggelse af datalækager i AI-applikationer er relevante som supplerende kontrolpunkter.

Hvordan vurderes juridiske og organisatoriske forbehold?

Generativ AI kan hjælpe med at strukturere juridiske og organisatoriske spørgsmål, men den bør ikke bruges som endelig vurdering af krav, ansvar eller lovlighed. I EU er Regulation (EU) 2024/1689, Artificial Intelligence Act, en central ramme for AI-systemer. Forordningen gør blandt andet risikoklasse, rollefordeling, dokumentation, menneskeligt tilsyn og AI-kompetence relevante for mange organisationer.

En risikoanalyse bør derfor skelne mellem teknisk risiko, organisatorisk risiko og regulatorisk relevans. Et system kan være teknisk velfungerende og stadig kræve stærk dokumentation, træning, brugerinformation eller governance. Omvendt kan en lavpraktisk intern AI-brug have høj datarisiko, hvis den behandler følsomme oplysninger uden passende kontrol.

Den sikre formulering er at bruge modellen til at finde spørgsmål, ikke til at afgøre svaret. Spørgsmål kan handle om rolle som udbyder eller bruger, datatyper, automatiseret beslutningsstøtte, menneskelig kontrol, adgangsstyring, logning og dokumentation. Den konkrete vurdering bør foretages af ansvarlige fagpersoner med kendskab til systemet og organisationens forpligtelser.

Hvordan kan resultater prioriteres uden falsk præcision?

Risikoprioritering bliver let misvisende, hvis generativ AI tildeler tal, farver eller placeringer uden dokumenteret grundlag. En model kan foreslå, at en risiko er høj, middel eller lav, men det betyder ikke, at vurderingen er målt. Prioritering bør bygge på kendte kriterier, for eksempel påvirkning, sandsynlighed, kontrolstyrke, eksponering, datatyper og genoprettelsesevne.

En god metode er at lade AI-systemet beskrive begrundelser og usikkerheder i stedet for at give endelige tal. Herefter kan mennesker med ansvar for processen tildele score efter en kendt skala. Hvis der mangler data, skal det vises som manglende data, ikke skjules bag en præcis score.

Prioritering bør også tage hensyn til afhængigheder. En enkelt datakvalitetsfejl kan påvirke flere beslutninger, og en svag leverandørkontrol kan sprede sig til mange AI-brugsscenarier. Generativ AI er nyttig til at finde sådanne sammenhænge, men de skal bekræftes.

Hvilke kontrolpunkter bør dokumenteres?

Dokumentation er nødvendig, fordi generativ AI kan gøre analysearbejdet hurtigere, men også mere uigennemsigtigt. Hvis ingen ved, hvilke data, antagelser og instruktioner der lå bag resultatet, bliver det svært at forklare eller gentage vurderingen senere.

• Formål og afgrænsning for analysen.
• Datakilder, datoer, versioner og kendte mangler.
• Model eller værktøj, der er brugt, samt adgangsniveau og databehandling.
• Liste over AI-foreslåede risici, der er fjernet, ændret eller bekræftet.
• Ansvarlig person for hver væsentlig vurdering og beslutning.
• Kontroller, testresultater, residual risiko og opfølgningsdato.

Dokumentationen bør være kort nok til at blive brugt og præcis nok til at kunne revideres. En risikoanalyse mister værdi, hvis den kun er en pæn tekst uden sporbarhed. Den får derimod praktisk værdi, når beslutninger kan følges tilbage til data, antagelser og ansvar.

Hvordan kan generativ AI bruges i løbende risikostyring?

Risikoanalyse er sjældent en engangsopgave. Nye datakilder, leverandører, brugergrupper, sårbarheder og regler kan ændre risikobilledet. Generativ AI kan støtte løbende risikostyring ved at sammenligne nye hændelser med eksisterende risikoregistre, opsummere ændringer og foreslå opfølgningsspørgsmål.

Den løbende brug bør være kontrolleret. Modellen kan for eksempel gennemgå hændelsesnotater og pege på, hvilke kendte risici de berører. Den kan også hjælpe med at omskrive tekniske fund til beslutningsklart sprog. Den bør dog ikke automatisk lukke risici, ændre ejerskab eller nedjustere prioritet uden menneskelig godkendelse.

NIST AI RMF beskriver AI-risikostyring som en løbende aktivitet gennem AI-systemets livscyklus. Det passer godt til generativ AI, fordi modeladfærd, datagrundlag og anvendelsesområde kan ændre sig over tid. En god praksis er derfor at koble AI-støttet analyse til faste reviewpunkter, hændelsesprocesser og governance-fora.

Mennesker bør derfor indgå før, under og efter brugen af generativ AI. Før analysen afgrænser de formål, datagrundlag og risikotolerance. Under analysen tester de, om forslagene passer til den konkrete kontekst. Efter analysen beslutter de handlinger, ejerskab og opfølgning. En model kan ikke have ansvar for databeskyttelse, sikkerhed, prioritering eller accept af residual risiko.

Hvornår bør generativ AI ikke bruges til risikoanalyse?

Generativ AI bør ikke bruges som primær metode, hvis datagrundlaget er for følsomt til den valgte tjeneste, hvis organisationen ikke kan dokumentere behandlingen, eller hvis output ikke kan kontrolleres. Den bør heller ikke bruges til at træffe beslutninger med høj påvirkning uden klare kontroller, domænevurdering og sporbarhed.

Der er også situationer, hvor en mere traditionel metode er bedre. Hvis opgaven handler om statistisk tabsberegning, penetrationstest, formel sikkerhedsgodkendelse, audit, juridisk vurdering eller realtidsmonitorering, kan generativ AI højst være et støtteværktøj. Den kan forklare og strukturere, men den erstatter ikke måling, test eller ansvarlig godkendelse.

• Brug ikke modellen til at behandle data, som ikke må deles med den valgte tjeneste.
• Brug ikke AI-genererede risikoscores uden kendt metode og menneskelig godkendelse.
• Brug ikke modellen som eneste kilde til regulatoriske, tekniske eller økonomiske konklusioner.
• Brug ikke automatiske handlinger, hvis fejl kan ændre adgang, slette data eller påvirke personer.

Den mest robuste grænse er enkel: generativ AI kan udvide og strukturere analysen, men den bør ikke stå alene dér, hvor fejl kan få alvorlige konsekvenser.

Hvordan ser en realistisk anvendelse ud i praksis?

Forestil dig en organisation, der vil bruge generativ AI til at analysere risikoen ved en ny intern dataanalyseproces. Først afgrænses processen: hvilke datakilder bruges, hvem bruger resultaterne, og hvilke beslutninger påvirkes? Derefter samles procesnotater, databeskrivelser og kendte kontroller.

Modellen kan derefter foreslå et foreløbigt risikoregister med datalækage, manglende datakvalitet, forkert fortolkning, utilstrækkelig adgangsstyring, leverandørafhængighed og overreliance som mulige risici. Fagpersoner gennemgår listen og fjerner det, der ikke passer. De tilføjer lokale forhold, for eksempel særlige adgangsroller, integrationer eller manuelle undtagelser.

Til sidst vurderes risiciene efter organisationens egen skala. Nogle risici kræver tekniske kontroller, andre kræver træning, godkendelsesflow eller ændret datagrundlag. En sådan proces bruger generativ AI til at skabe overblik, men beslutningen hviler stadig på dokumentation, ansvar og kontroller.

Hvilke kilder ligger til grund?

Artiklen bygger især på NISTs oversigt over AI Risk Management Framework, NISTs Generative AI Profile, EU-forordning 2024/1689 om kunstig intelligens og OWASP Top 10 for Large Language Model Applications. Kilderne er brugt til afgrænsning af generativ AI-risici, risikostyringsstruktur, sikkerhedsrisici og europæisk relevans.