Training Language Models to Follow Instructions (InstructGPT)

En rå språkmodell er god til å forutsi tekst, men det er ikke det samme som å være hjelpsom. Den kan ignorere instruksjonen din eller svare på en lite nyttig måte. InstructGPT løser dette ved å legge et lag med menneskelig tilbakemelding til treningen.

Folk vurderer modellens svar og angir hvilke som er bedre. Modellen justeres så til å produsere mer av den typen svar mennesker foretrekker. Denne teknikken er kjent som forsterkende læring fra menneskelig tilbakemelding, eller RLHF.

I stedet for bare å lære av rå tekst, lærer modellen av menneskelige vurderinger om kvalitet. Vurderere rangerer svar, de rangeringene trener en modell av hva folk liker, og den preferansemodellen styrer så språkmodellen mot mer hjelpsomme, ærlige og treffsikre svar.

Resultatet er en modell som faktisk gjør det du ber om. En mindre modell justert på denne måten kan føles mer nyttig enn en større som bare ble trent til å forutsi tekst, fordi det å følge instruksjonen er det folk bryr seg om.

Denne tilpasningsoppskriften er det som gjorde kraftige, men ustyrlige språkmodeller om til assistenter folk kan snakke med. ChatGPT og bølgen av samtaleassistenter som fulgte, er bygd på denne ideen.

For byggere er lærdommen at evne og hjelpsomhet er to forskjellige ting, og menneskelig tilbakemelding er en praktisk måte å bygge bro mellom dem. Mye av det som får moderne KI til å føles samarbeidsvillig, kommer fra dette steget.