Et enkelt sammendrag, så du får med deg poenget her uten å dra videre.
I dette korte essayet fra 2019 peker forskeren Rich Sutton, som jobber med forsterkende læring, på et mønster som gjentar seg gjennom flere tiår med KI. Generelle metoder som rir på rå regnekraft, har en tendens til å vinne, og smarte snarveier laget for hånd av mennesker har en tendens til å tape.
Hva det er
Essayet er en refleksjon over kunstig intelligens-historien, skrevet av noen som har levd gjennom store deler av den. Sutton ser tilbake på felt som sjakk, brettspillet Go, talegjenkjenning og datasyn, og legger merke til at den samme historien spiller seg ut gang på gang. Forskere bruker årevis på omhyggelig å kode menneskelig kunnskap inn i et system, bare for å bli forbigått av enklere tilnærminger som rett og slett lærer av data og søker gjennom muligheter, så lenge de har nok regnekraft.
Han kaller den bitter fordi den svir. De håndlagde, kunnskapsrike tilnærmingene er dem mennesker føler seg stolte av. De gjenspeiler ekte innsikt og hardt arbeid. Likevel blir de i det lange løp slått igjen og igjen av metoder som lener seg mindre på menneskelig kløkt og mer på å la regnekraften gjøre tungløftet.
Kjernetanken i klartekst
Lærdommen hviler på ett stødig faktum: datamaskiner blir raskere og billigere, år etter år. En metode som forbedrer seg automatisk når du gir den mer regnekraft, vil derfor til slutt løpe fra en metode som er avhengig av en fast mengde menneskeskapt kløkt. Den første typen fortsetter å klatre etter hvert som maskinvaren vokser. Den andre typen stopper opp ved det designerne klarte å legge inn.
Sutton peker på to generelle metoder som skalerer spesielt godt: søk, som betyr å la maskinen utforske mange alternativer, og læring, som betyr å la maskinen forbedre seg ut fra erfaring og data. Begge blir bedre rett og slett ved å få mer regnekraft. Å hardkode menneskelige antakelser om hvordan verden fungerer, føles derimot ofte tilfredsstillende på kort sikt, men blir et tak senere, fordi systemet bare kan bli så godt som reglene folk skrev.
Hvorfor det er viktig
Dette essayet forklarer i det stille mye om moderne KI. Store språkmodeller og andre nyere systemer er, på et vis, the bitter lesson i praksis: forholdsvis generelle arkitekturer, trent på enorme mengder data med enorme mengder regnekraft, snarere enn stramt spesifiserte regler om grammatikk eller mening. Å forstå dette hjelper deg å lese feltet med klarere blikk.
For dem som bygger med KI i dag, bærer det en ydmyk advarsel. Vær forsiktig før du baker for mange av dine egne antakelser inn i et system. Noen ganger er det varige trekket å sette opp en generell metode, mate den med gode data og nok regnekraft, og la den finne mønstre du ikke ville tenkt på å skrive ned. For miljøet vårt er det en grunnleggende mental modell: respekter menneskelig innsikt, men ikke vedd mot skala.
- Et essay fra 2019 av Rich Sutton, forsker innen forsterkende læring, som reflekterer over 70 år med KI-historie.
- Det gjentakende mønsteret: generelle metoder drevet av regnekraft slår håndlagde, kunnskapstunge systemer over tid.
- Det fungerer fordi regnekraft stadig blir billigere, så metoder som skalerer med regnekraft fortsetter å forbedre seg mens faste menneskeskapte regler stopper opp.
- Søk og læring er de to generelle metodene som skalerer best, siden begge forbedrer seg med mer regnekraft.
- Det bidrar til å forklare hvorfor moderne KI lener seg på data og regnekraft i stor skala snarere enn håndskrevne regler, og det advarer de som bygger, mot å kode inn for mange av sine egne antakelser.
Rich Sutton
Ny til dette? Kom og bygg med oss.
Å lese er bra. Å bygge sammen med andre er bedre. Samlingene våre er gratis og åpne for helt ferske.