Language Models are Few-Shot Learners (GPT-3)

GPT-3 er en stor språkmodell trent på en enorm mengde tekst for å forutsi det neste ordet. Det som gjorde den bemerkelsesverdig, var ikke bare størrelsen, men en ny måte å bruke den på. I stedet for å finjustere den for hver oppgave, beskriver du rett og slett oppgaven og viser noen få eksempler i ledeteksten, og modellen følger etter.

Dette kalles few-shot-læring. Modellen lærer hva du vil ha ut fra de få eksemplene som ligger der i inndataene, og bruker så mønsteret på det virkelige spørsmålet ditt.

En modell trent bredt nok kan plukke opp formen på en ny oppgave på sparket. Vis den et par oversettelser eller et par spørsmål-og-svar-par, og den slutter seg til regelen og fortsetter den, helt uten å endre de interne vektene sine.

Dette snur den eldre arbeidsflyten på hodet. Før innebar det å tilpasse en modell å samle inn merkede data og trene den på nytt. Med few-shot-ledetekst tilpasser du modellen ved å skrive gode instruksjoner og eksempler, noe som er langt raskere og mer fleksibelt.

GPT-3 gjorde ledetekster til den viktigste måten folk samhandler med store modeller på. Ideen om at du kan styre én enkelt generell modell med ord alene, er grunnlaget for hvordan de fleste bruker KI i dag.

For byggere er dette øyeblikket der ledeteksten ble grensesnittet. Å vite hvordan man gir tydelige instruksjoner og gode eksempler er nå en kjerneferdighet, og denne artikkelen er der den tilnærmingen ble vist å fungere i stor skala.