RLHF i AI står for Reinforcement Learning from Human Feedback og er en træningsmetode, hvor menneskers vurderinger bruges til at styre en model mod mere ønsket adfærd. Metoden bruges især i sprogmodeller, men den er ikke en garanti for sandhed, neutralitet eller sikkerhed.
RLHF er en metode, hvor menneskelige præferencevalg bruges til at styre AI-modeller mod mere ønsket adfærd. Forklaringen dækker feedbackflowet, belønningsmodeller, forskellen til fine-tuning og DPO samt de vigtigste begrænsninger omkring bias, sikkerhed, datakvalitet og evaluering.
Hvad betyder RLHF?
RLHF betyder, at en AI-model ikke kun trænes på store mængder tekst eller data, men også på menneskelige præferencer. I stedet for at definere alle regler matematisk på forhånd får systemet eksempler på, hvilke svar eller handlinger mennesker foretrækker i konkrete situationer.
I sprogmodeller bruges RLHF typisk efter den store grundtræning. Først lærer modellen generelle sprogmønstre. Derefter kan den finjusteres med eksempler på ønsket adfærd. Til sidst kan menneskelige rangeringer bruges til at træne en belønningsmodel, som hjælper med at vælge eller forme svar, der bedre følger brugerens intention.
RLHF er derfor en post-træningsmetode. Den ændrer ikke alene, hvad modellen ved, men påvirker hvordan modellen prioriterer mellem mulige svar. Det kan gøre output mere hjælpsomt, mere høfligt og bedre tilpasset en bestemt opgavetype, men kvaliteten afhænger af feedbackdata, evalueringsdesign og de mål, træningen faktisk belønner.
Hvordan indgår menneskelig feedback i træningen?
Menneskelig feedback i RLHF gives ofte som sammenligninger. En annotator ser to eller flere modeloutput og vælger, hvilket der bedst opfylder opgaven. Valget bliver til et datasignal, som fortæller systemet, at et bestemt svar er mere ønskeligt end et andet i den konkrete kontekst.
Et forenklet RLHF-flow kan se sådan ud:
- En grundmodel producerer flere mulige svar på samme opgave.
- Menneskelige bedømmere rangerer svarene efter definerede kriterier.
- Rangeringerne bruges til at træne en belønningsmodel.
- Den oprindelige model optimeres mod belønningsmodellens vurderinger.
- Resultatet testes på nye opgaver, fejltyper og sikkerhedsgrænser.
Feedbacken er ikke det samme som en facitliste. Den udtrykker præferencer inden for de instruktioner, annotatorerne har fået. Hvis kriterierne er uklare, eller hvis bedømmerne vurderer forskelligt, kan modellen lære en blandet eller skæv adfærd.
Hvad er en belønningsmodel?
En belønningsmodel er en model, der forsøger at forudsige, hvilket output mennesker ville foretrække. Den fungerer som et mellemled mellem menneskelige vurderinger og den videre optimering af sprogmodellen. I stedet for at spørge et menneske for hvert eneste træningstrin bruger systemet belønningsmodellen som en skalerbar vurderer.
Belønningsmodellen kan være nyttig, fordi den gør feedbackprocessen mere effektiv. Den kan også blive en kilde til fejl. Hvis den belønner overfladiske træk som selvsikkert sprog, overdreven venlighed eller lange svar, kan den oprindelige model lære at optimere efter disse signaler uden nødvendigvis at blive mere korrekt.
Det kaldes ofte reward hacking eller overoptimering: modellen finder mønstre, som giver høj belønningsscore, men som ikke svarer til det egentlige mål. Derfor bruges RLHF normalt sammen med begrænsninger, løbende evaluering og kontrol af afvigelse fra den oprindelige model.
Hvordan adskiller RLHF sig fra almindelig fine-tuning?
Almindelig fine-tuning lærer modellen ud fra eksempler på ønsket input og output. RLHF lærer derimod ud fra menneskers vurderinger af, hvilke output der er bedre end andre. Fine-tuning kan lære et format, en tone eller en opgavetype. RLHF bruges ofte til at justere prioriteringer, når der findes mange mulige svar.
| Område | Fine-tuning | RLHF |
|---|---|---|
| Datasignal | Eksempler på ønsket output. | Præferencevalg mellem output. |
| Typisk mål | Lære format, domæne eller opgavemønster. | Tilpasse adfærd til menneskelige vurderinger. |
| Risiko | Overtilpasning til træningseksempler. | Overoptimering efter belønningsmodellens svagheder. |
RLHF kan ses som et ekstra lag oven på andre træningstrin. En model kan først være grundtrænet, derefter finjusteret og siden RLHF-trænet. Den mere generelle forklaring af fine-tuning af sprogmodeller dækker det første af disse eftertræningsvalg.
Hvorfor bruges parvise præferencevalg?
Parvise præferencevalg er lettere for mennesker end at give en absolut score. Det er ofte nemmere at sige, at svar A er bedre end svar B, end at afgøre om et svar fortjener 6, 7 eller 8 på en skala. Det gør feedbacken mere praktisk, især når output er lange, åbne eller delvist rigtige.
Metoden passer godt til sprogmodeller, fordi mange opgaver ikke har ét entydigt svar. Et resumé kan være kortere eller mere detaljeret. En forklaring kan være teknisk eller pædagogisk. Et afslag på en skadelig anmodning kan være mere eller mindre hjælpsomt. RLHF forsøger at lære disse nuancer gennem præferencer.
Ulempen er, at parvise valg kan skjule hvorfor et svar blev foretrukket. Hvis bedømmeren vælger et svar, fordi det lyder venligt, kan systemet forveksle venlighed med korrekthed. Derfor bør feedbackkriterier være konkrete: faktuel nøjagtighed, relevans, sikkerhed, fuldstændighed og klar afgrænsning bør vurderes hver for sig, når det er muligt.
Hvad forbedrer RLHF typisk?
RLHF bruges især til at forbedre en models evne til at følge brugerintentioner. I InstructGPT-arbejdet blev menneskelige demonstrationer og rangeringer brugt til at træne modeller, som i evalueringer blev foretrukket frem for større modeller uden samme eftertræning. Det viser, at adfærdstræning kan være vigtigere end modelstørrelse i visse brugeropgaver.
Typiske forbedringsområder er:
- mere relevante svar på åbne spørgsmål
- bedre overholdelse af opgavekrav
- mere passende afslag på skadelige anmodninger
- mindre tendens til giftigt eller uønsket sprog
- mere ensartet assistentadfærd på tværs af opgavetyper
Disse forbedringer skal læses som sandsynlig adfærdsjustering, ikke som dokumentation for, at modellen altid svarer sandt. En RLHF-trænet model kan stadig opfinde oplysninger, misforstå kontekst, overse forbehold eller give et svar, der passer til feedbackmønstre, men ikke til virkeligheden.
Hvilke begrænsninger har RLHF?
RLHF afhænger af menneskelige vurderinger, og menneskelige vurderinger er aldrig neutrale rådata. De påvirkes af instruktioner, kultur, sprog, kontekst, tidspres og den konkrete brugergruppe, der repræsenteres i feedbacken. Hvis bedømmerne ikke ligner de brugere, systemet senere skal hjælpe, kan modellen blive dårligere til bestemte behov.
Metoden kan også skabe en model, der virker mere sikker, end den er. Hvis belønningsmodellen favoriserer flydende og selvsikre svar, kan modellen lære at lyde afklaret, selv når der mangler grundlag. Det er en særlig risiko i faglige domæner, hvor brugeren kan have svært ved at gennemskue fejl.
Derudover kan RLHF gøre fejl mindre synlige. En model, der er trænet til at være venlig og hjælpsom, kan pakke usikkerhed ind i et pænt svar. Derfor bør RLHF kombineres med faktatjek, kildegrundlag, afvisningsregler, logning og målinger af fejltyper.
Hvordan kan RLHF påvirke bias og sikkerhed?
RLHF kan reducere nogle uønskede output, men den kan også fastholde eller forstærke skævheder i feedbackdata. Hvis bedømmere konsekvent foretrækker bestemte sproglige normer, kulturelle antagelser eller risikovurderinger, kan modellen lære disse mønstre som om de var generelle regler.
Bias kan være tydelig i rekruttering, kredit, sundhed, uddannelse og sagsbehandling, men den kan også opstå i almindelige assistentopgaver. Hvis modellen belønnes for at give bestemte typer råd, bestemte forklaringsniveauer eller bestemte sikkerhedsreaktioner, kan det påvirke brugere forskelligt. Artiklen om AI-bias i rekruttering viser et konkret område, hvor skævheder i data og vurderinger kan få praktiske konsekvenser.
Sikkerhedsmæssigt er RLHF et vigtigt, men begrænset værktøj. Den kan træne modellen til at afvise skadelige anmodninger, men den kan ikke alene forhindre omgåelser, manipulerende input eller utilsigtet datalæk. Derfor bør den ses sammen med test af AI-sikkerhed mod jailbreaking, adgangskontrol og overvågning af faktiske brugsmønstre.
Hvordan adskiller RLHF sig fra DPO?
DPO, Direct Preference Optimization, er en senere metode til præferencebaseret eftertræning. Den bruger også menneskelige præferencevalg, men forsøger at optimere modellen direkte uden et separat klassisk reinforcement learning-loop. Det gør metoden enklere at implementere i nogle træningsopsætninger.
Forskellen kan forenkles sådan: RLHF bruger typisk en belønningsmodel og efterfølgende optimering mod belønningen. DPO formulerer præferenceoptimeringen som en mere direkte læringsopgave. Begge metoder forsøger at gøre modeladfærd mere styrbar, men de har forskellige tekniske krav og forskellige fejlmuligheder.
DPO er ikke bare en erstatning i alle tilfælde. Valget afhænger af modeltype, datakvalitet, evalueringsmål og hvilke kompromiser man kan acceptere. En særskilt forklaring findes i artiklen om DPO i AI.
Hvilke data- og governancekrav følger med RLHF?
RLHF kræver governance, fordi feedbackdata ikke blot er tekniske træningsdata. De udtrykker normer, prioriteringer og beslutninger om ønsket adfærd. Hvis disse valg ikke dokumenteres, bliver det uklart, hvem modellen er tilpasset til, hvilke risici der er accepteret, og hvilke fejl der skal udløse ny træning.
En organisation bør som minimum kunne svare på:
- hvem der har givet feedback
- hvilke kriterier bedømmerne brugte
- om følsomme oplysninger indgik i træningsmaterialet
- hvordan uenighed mellem bedømmere blev håndteret
- hvilke fejltyper modellen blev testet for efter træningen
Dette hører naturligt sammen med AI-governance. Jo større betydning modellens output har for mennesker, jo mere præcist bør feedbackdata, risikovurdering, versionering og ansvar være beskrevet.
Hvordan vurderes en RLHF-trænet model?
En RLHF-trænet model bør vurderes på mere end almindelig brugertilfredshed. Brugere kan foretrække svar, der er lette at læse, men stadig indeholder fejl. Derfor bør evalueringen skelne mellem hjælpsomhed, sandhed, sikkerhed, robusthed, bias, afvisningskvalitet og evnen til at sige fra ved manglende grundlag.
En praktisk evaluering kan kombinere automatiske tests, menneskelige vurderinger og røde hold-tests. Automatiske tests kan finde kendte fejlmønstre. Menneskelige vurderinger kan bedømme nuance og brugbarhed. Røde hold-tests kan afprøve, om modellen kan presses til uønsket adfærd.
Det er også nyttigt at måle modeladfærd over tid. Hvis produktet ændrer sig, brugerne ændrer sig, eller feedbackdata udvides, kan modellen begynde at opføre sig anderledes. Evaluering bør derfor være en løbende driftsopgave og ikke kun et punkt før lancering.
Hvornår giver RLHF mening i praksis?
RLHF giver mest mening, når der findes mange acceptable output, men nogle er tydeligt bedre end andre ud fra menneskelige kriterier. Det gælder for assistentadfærd, dialog, opsummering, moderering, afslag, prioritering af hjælpsomhed og opgaver, hvor tone og sikkerhed er en del af kvaliteten.
Metoden giver mindre mening, hvis opgaven har et klart facit, som kan måles direkte. Hvis en model skal løse matematiske opgaver, klassificere et fast regelsæt eller slå op i en database, kan supervised learning, regelkontrol, retrieval eller programmatisk evaluering være mere præcist end brede præferencevurderinger.
RLHF bør heller ikke bruges som plaster på uklare produktkrav. Hvis organisationen ikke kan beskrive ønsket adfærd, risikogrænser og evalueringskriterier, vil feedbackprocessen ofte reproducere den uklarhed. God RLHF starter med klare kriterier, ikke med flere bedømmelser.
Hvilke fejltyper bør man teste efter RLHF?
Efter RLHF bør testen lede efter de fejl, metoden kan skjule. Det gælder især overdreven eftergivenhed, for sikre svar, svage afslag, inkonsistent sikkerhedsadfærd, skjult bias og svar, der lyder bedre end de er. En model kan score højt på præferencevurderinger og stadig fejle i specialiserede eller følsomme situationer.
Testen bør indeholde almindelige brugerspørgsmål, vanskelige grænsetilfælde og bevidst manipulerende input. Den bør også indeholde eksempler, hvor det bedste svar er at sige, at der mangler information. Det er en god modvægt til træning, der ellers kan belønne modeller for altid at forsøge at hjælpe.
For organisationer er det særlig nyttigt at logge fejlårsagen. Skyldes fejlen dårlige feedbackkriterier, svag belønningsmodel, manglende domæneviden, sikkerhedsregler eller brugerens formulering? Uden den opdeling bliver det svært at beslutte, om løsningen kræver ny data, bedre evaluering eller en anden arkitektur.
Hvilke kilder ligger til grund?
Den tidlige metode bygger på Deep reinforcement learning from human preferences. RLHF i moderne sprogmodeller er især sammenholdt med Training language models to follow instructions with human feedback og Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback. Sammenligningen med nyere præferenceoptimering bygger på Direct Preference Optimization, og risikoperspektivet er holdt op mod NISTs profil for generativ AI-risikostyring.