Et enkelt sammendrag, så du får med deg poenget her uten å dra videre.
I 2020 fant forskere hos OpenAI at kvaliteten på en språkmodell forbedres i jevne, forutsigbare kurver etter hvert som du gir den mer regnekraft, mer data og flere parametere, slik at du kan forutsi hvor god en modell blir før du bygger den.
Hva det er
Denne artikkelen studerer hvordan tre ingredienser former en modells ytelse: mengden regnekraft brukt til å trene den, mengden tekst den trener på, og antallet parametere, som er de justerbare interne innstillingene modellen lærer.
Det overraskende funnet er regelmessighet. Når du øker disse ingrediensene, faller modellens feil langs rene matematiske kurver i stedet for å hoppe rundt. Sammenhengene holdt på tvers av et bredt spekter av størrelser.
Kjernetanken
Større og mer, innenfor rimelighetens grenser, betyr bedre, og forbedringen er forutsigbar. Hvis du kjenner kurven, kan du anslå hvor mye bedre en modell blir hvis du dobler regnekraften eller dataene, før du bruker pengene på å trene den.
Den forutsigbarheten gjør modellbygging til noe nærmere ingeniørarbeid enn gjetning. Den lar team planlegge hvor de skal investere og resonnere om avkastningen fra hver ekstra enhet med skala.
Hvorfor det betyr noe
Skaleringslovene ga feltet selvtillit til å investere i langt større modeller, fordi gevinstene kunne forutsies i stedet for å være et sjansespill. Mye av det siste spranget i KI-evner kan spores tilbake til at man tok disse kurvene på alvor.
For byggere er lærdommen praktisk. Evne kommer ofte fra skala, og du kan resonnere kvantitativt om avveiningene mellom størrelse, data og regnekraft i stedet for å støtte deg på intuisjon alene.
- Publisert i 2020 av OpenAI.
- Modellens feil faller i jevne, forutsigbare kurver etter hvert som skalaen vokser.
- De tre spakene som studeres er regnekraft, data og antall parametere.
- Lar team forutsi en modells kvalitet før de trener den.
- Ga feltet selvtillit til å investere i langt større modeller.
OpenAI
Ny til dette? Kom og bygg med oss.
Å lese er bra. Å bygge sammen med andre er bedre. Samlingene våre er gratis og åpne for helt ferske.