Sikkerhedsaspekter ved AI i skolen

Sikkerhedsaspekter ved AI i skolen handler om elevdata, adgangsstyring, fejlagtige AI-svar, uønsket indhold, leverandørvilkår og menneskeligt tilsyn. AI kan støtte undervisning, men skoler bør bruge teknologien med klare regler for data, roller, alderssvarende brug og kontrol af beslutninger, der påvirker elever.

Hvilke sikkerhedsaspekter ved AI i skolen er mest centrale?

AI i skolen skaber flere typer sikkerhed på samme tid. Informationssikkerhed handler om at beskytte elevdata, login, filer og adgang til systemer. AI-sikkerhed handler om, hvordan modellen reagerer på brugerinput, ubetroet indhold, fejl, jailbreaks og misbrug. Pædagogisk sikkerhed handler om, at elever ikke får forkert, skadeligt eller urimeligt styrende feedback. Vurderingssikkerhed handler om, at AI ikke får for stor betydning for karakterer, niveauplacering eller progression uden menneskelig kontrol.

Det gør skolekonteksten anderledes end almindelig privat brug. Elever er ofte mindreårige, lærere behandler data om progression og trivsel, og digitale værktøjer kan blive en del af undervisningspligten. En skole skal derfor kunne forklare, hvorfor AI bruges, hvilke data der behandles, hvem der har adgang, og hvordan fejl håndteres.

Sikker AI-brug er hverken et rent teknisk spørgsmål eller et rent pædagogisk spørgsmål. Det er en styringsopgave, hvor ledelse, lærere, it-ansvarlige og eventuelle databeskyttelsesfunktioner skal arbejde med samme beslutningsgrundlag.

Hvilke elevdata skal beskyttes særligt?

Elevdata kan være mere følsomme end de ser ud. Navn, klasse, skolemail og opgavebesvarelser er personoplysninger, når de kan knyttes til en elev. Det samme gælder logdata, lyd, billeder, tekstbeskeder, feedback, karakterer, fravær, specialpædagogiske behov og oplysninger om adfærd i digitale systemer.

Når AI bruges i undervisning, kan systemet også danne afledte oplysninger. Det kan være vurderinger af elevens niveau, forudsigelser om risiko for frafald, anbefalinger om støtte eller en profil af elevens styrker og svagheder. Afledte data kan få praktisk betydning for eleven, selv om de er genereret automatisk.

En skole bør derfor kende forskel på tre datatyper:

• Inputdata, som elever eller lærere indtaster i AI-værktøjet.
• Systemdata, som værktøjet skaber gennem logning, analyser og modeloutput.
• Beslutningsdata, som bruges til feedback, progression, vurdering eller opfølgning.

Hvis et AI-værktøj tilsluttes eksterne tjenester eller API’er, bliver leverandørens datavilkår afgørende. En teknisk gennemgang af data ved brug af AI API’er kan hjælpe med at afklare, hvad der sendes ud af skolens egne systemer, og hvordan data kan begrænses.

Hvordan kan AI give forkerte eller usikre svar?

Generativ AI kan formulere svar, der virker præcise, selv når de er forkerte, ufuldstændige eller uden holdbar kilde. I en skole kan det give problemer, hvis elever bruger svaret som facit, hvis læreren får misvisende forslag til feedback, eller hvis systemet fremstiller en elevs faglige niveau for sikkert.

Fejl kan opstå, fordi modellen ikke har adgang til skolens konkrete materiale, fordi den blander generel viden med usikre mønstre, eller fordi spørgsmålet er formuleret uklart. Fejl kan også opstå, når AI bruges til at opsummere dokumenter, analysere elevsvar eller generere opgaver uden faglig efterkontrol.

Et sikkert undervisningssetup bør derfor adskille tre funktioner: inspiration, støtte og beslutning. AI kan ofte bruges som inspiration til opgaver eller forklaringer. Den kan støtte læreren med udkast og variationer. Den bør ikke alene træffe beslutninger om elevens læringsniveau, karakter, støttebehov eller adgang til forløb.

Hvad betyder instruktionsangreb og jailbreaking i en skolekontekst?

Instruktionsangreb betyder, at tekst, filer eller andre input forsøger at ændre AI-systemets instruktioner eller output på en uønsket måde. Jailbreaking handler beslægtet om at få en model til at omgå sine sikkerhedsregler. I skolen kan det ske bevidst gennem elevinput eller indirekte gennem dokumenter, websider og filer, som AI-systemet bliver bedt om at læse.

Hvis en skole bruger AI til at opsummere websider, rette opgaver, læse delte dokumenter eller hente materiale fra nettet, kan ubetroet indhold påvirke svaret. OWASP anbefaler blandt andet input- og outputfiltrering, least privilege, menneskelig godkendelse for risikable handlinger og test af angrebsscenarier. Det er praktiske principper, ikke kun teori for softwareudviklere.

Et skoleværktøj bør derfor ikke have bred adgang til mails, elevmapper, karakterdata eller administrative systemer, blot fordi AI-funktionen er praktisk. Jo mere værktøjet kan gøre, desto større bliver konsekvensen af en manipuleret instruktion. Grundprincippet bag AI-sikkerhed mod jailbreaking er at begrænse, teste og overvåge modellens handlemuligheder.

Hvordan bør adgang og roller styres?

Adgangsstyring skal følge skolens faktiske roller. En elev, en lærer, en vikar, en administrator og en ekstern leverandør bør ikke have samme rettigheder. AI-funktioner bør kun have adgang til de data og værktøjer, der er nødvendige for den konkrete undervisningsopgave.

Rolleopdeling er især relevant, når AI bruges til feedback, elevprofiler, læringsplaner eller administrative arbejdsgange. En lærer kan have behov for at se klassens progression. En elev bør kun se egne data og eventuelt fælles materiale. En leverandør bør ikke kunne tilgå mere end det, der fremgår af aftalen og systemets tekniske opsætning.

Adgangsstyring bør testes, ikke bare beskrives. En skole kan for eksempel kontrollere, om elever kan få AI-værktøjet til at afsløre andre brugeres oplysninger, skjulte instruktioner eller data fra dokumenter, de ikke burde se.

Hvordan beskytter skolen elevernes privatliv?

Privatliv begynder med dataminimering. Skolen bør undgå at sende navne, følsomme oplysninger, hele elevmapper eller fritekst med private detaljer ind i AI-værktøjer, hvis det ikke er nødvendigt. Anonymisering eller pseudonymisering kan reducere risikoen, men kun hvis skolen også kontrollerer, om eleven stadig kan genkendes gennem kontekst.

GDPR gælder for behandling af personoplysninger, og elevdata vil ofte være omfattet, når de bruges i digitale undervisningssystemer. Det betyder blandt andet, at formål, behandlingsgrundlag, databehandlerroller, opbevaring, adgang, sletning og dokumentation skal være afklaret. Artiklen giver ikke juridisk rådgivning, men sikkerhedsarbejdet bør tage udgangspunkt i de krav, skolen allerede har til persondata.

For praktisk brug betyder det, at elever ikke bør opfordres til at indsætte private oplysninger i åbne AI-værktøjer. Lærere bør heller ikke kopiere hele elevbesvarelser med navne og vurderinger ind i en model, hvis samme formål kan opnås med kortere, afidentificerede eksempler. Overblikket fra sikkerhed og privatliv i ChatGPT er relevant, fordi mange af de samme dataprincipper gælder bredere for generative AI-værktøjer.

Hvad bør lærere og elever vide før brug?

Lærere og elever bør kende værktøjets formål, grænser og databrug, før det bruges i undervisningen. Det skal være tydeligt, om AI må bruges til idéudvikling, forklaring, feedback, oversættelse, korrektur, kodehjælp, opgaveløsning eller vurdering. Forskellige formål har forskellige risici.

Elever bør lære, at AI-svar ikke er dokumentation i sig selv. De bør kunne kontrollere kilder, opdage usikre formuleringer og forstå, hvornår brug af AI ændrer karakteren af deres eget arbejde. Det er særligt relevant ved afleveringer, projektarbejde og faglige refleksioner, hvor processen betyder lige så meget som slutproduktet.

Lærere bør have en fælles praksis for, hvordan AI-brug beskrives i opgaver. Hvis én lærer tillader AI til brainstorming og en anden behandler samme brug som snyd, bliver sikkerheden også et spørgsmål om retfærdighed og forudsigelighed. Klare rammer beskytter både elever og lærere.

Hvordan kan AI påvirke vurdering og elevprofilering?

AI kan bruges til at give feedback, finde mønstre i opgaver eller foreslå næste læringsskridt. Det bliver mere risikabelt, når output bruges til vurdering, niveauplacering eller elevprofiler. En automatisk vurdering kan virke objektiv, selv om den bygger på usikre data, begrænsede kriterier eller skæve mønstre.

EU AI Act er relevant, fordi visse AI-systemer i uddannelse kan være højrisiko, når de påvirker adgang, vurdering eller progression. For højrisiko-AI stiller forordningen krav om blandt andet risikostyring, datastyring, transparens, menneskeligt tilsyn, robusthed og cybersikkerhed. Det betyder ikke, at alle skolechatbots er højrisiko, men det viser, at vurderingsnære systemer kræver en anden kontrol end simple skriveassistenter.

En skole bør derfor skelne mellem AI som læringsstøtte og AI som beslutningsstøtte. Jo tættere systemet kommer på beslutninger om eleven, desto mere dokumentation, forklarlighed og menneskelig godkendelse bør kræves.

Hvilke regler og retningslinjer er relevante i EU?

EU-Kommissionens retningslinjer for AI og data i undervisning peger på ansvarlig, etisk og sikker brug, så lærere og skoleledere kan forstå både muligheder og risici. UNESCOs vejledning om generativ AI i uddannelse lægger vægt på menneskecentreret, alderssvarende og pædagogisk valideret brug. GDPR og EU AI Act giver de centrale europæiske rammer for henholdsvis persondata og AI-risikostyring.

For en skole betyder det, at sikkerhed ikke kan reduceres til et flueben i en leverandørliste. Skolen skal kunne svare på, hvilket formål AI-værktøjet har, hvilke data der behandles, hvordan elever informeres, hvordan lærere fører tilsyn, og hvordan systemets fejl opdages.

Det er her AI-governance bliver praktisk. Governance gør det muligt at placere ansvar og krav, før der opstår tvivl om, hvem der godkendte værktøjet, hvem der må bruge det, og hvem der reagerer på fejl.

Hvordan kan skolen vælge leverandører mere sikkert?

Leverandørvalg bør begynde med formålet. Et værktøj til grammatisk feedback har andre risici end et værktøj, der analyserer elevtrivsel eller foreslår niveauplacering. Når formålet er klart, kan skolen stille mere præcise krav til data, sikkerhed, dokumentation og support.

Relevante spørgsmål til leverandøren er blandt andet:

• Hvilke data behandles, og hvor lagres de?
• Bruges elevdata til træning, forbedring eller evaluering af modeller?
• Hvordan slettes data, og hvem kan tilgå dem?
• Kan lærere se og ændre AI-anbefalinger?
• Hvordan testes systemet mod instruktionsangreb, fejloutput og datalæk?
• Hvilke logfiler findes, og hvordan bruges de ved hændelser?

Skolen bør også kræve en forståelig beskrivelse af systemets begrænsninger. Hvis leverandøren ikke kan forklare, hvad værktøjet ikke bør bruges til, er det svært for lærere og elever at bruge det forsvarligt.

Hvordan håndteres fejl og hændelser?

AI-fejl bør behandles som hændelser, når de kan påvirke elever, data eller skolens beslutninger. En hændelse kan være et forkert fagligt svar, eksponering af personoplysninger, uønsket indhold, uretfærdig anbefaling, instruktionsangreb, teknisk adgangsfejl eller en leverandørændring, der ændrer databehandlingen.

Skolen bør have en enkel proces for at registrere og reagere på hændelser. Processen bør beskrive, hvem der modtager beskeden, hvordan brugen stoppes midlertidigt, hvordan elever og forældre informeres, hvornår leverandøren kontaktes, og hvordan der følges op. Den bør også beskrive, hvornår en hændelse skal vurderes som en persondatasag.

En hændelsesproces gør det lettere at lære af fejl. Hvis flere lærere rapporterer samme type usikker feedback, kan problemet skyldes brugerinputtet, undervisningsmaterialet, modellen eller værktøjets opsætning. Uden registrering bliver fejlene ofte enkeltstående observationer, der aldrig bliver til forbedringer.

Hvordan kan sikker brug fastholdes over tid?

AI-værktøjer ændrer sig løbende. En leverandør kan ændre model, datavilkår, funktioner, administratorindstillinger eller integrationer. Derfor er en engangsgodkendelse ikke nok. Skolen bør genbesøge AI-værktøjer, når der sker væsentlige ændringer, og når brugen udvides til nye fag, årgange eller formål.

En intern AI-politik kan give faste minimumskrav: hvilke værktøjer må bruges, hvilke data må indtastes, hvornår læreren skal godkende output, og hvordan elever skal deklarere AI-brug. Politikken bør være kort nok til at blive brugt i praksis og konkret nok til at løse hverdagens tvivl.

Den løbende kontrol kan organiseres som en fast årsrytme: opdater leverandøroversigten, gennemgå hændelser, test adgangsrettigheder, vurder nye funktioner, opdater elev- og lærerinformation, og fjern værktøjer, der ikke længere opfylder kravene. Sikkerhed bliver dermed en del af skolens almindelige drift i stedet for en særskilt teknologidiskussion.

Hvilke kilder ligger til grund?

Artiklen bygger på EU-Kommissionens retningslinjer for AI og data i undervisning, UNESCOs vejledning om generativ AI i uddannelse og forskning, teksten til GDPR, teksten til EU AI Act og OWASPs LLM Top 10.