LLM bolji u složenom zaključivanju

Unatoč svim svojim impresivnim mogućnostima, modeli velikih jezika (LLM-ovi) često ne uspijevaju ispuniti očekivanja kada im se daju izazovni novi zadaci koji zahtijevaju složene vještine rasuđivanja.

Iako se LLM program računovodstvene tvrtke može izvrsno snalaziti u sažimanju financijskih izvješća, isti taj model mogao bi neočekivano zakazati ako mu se zada predviđanje tržišnih trendova ili identificiranje prijevarnih transakcija.

Kako bi LLM-ovi bili prilagodljiviji, istraživači s MIT-a istražili su kako se određena tehnika treniranja može strateški primijeniti za poboljšanje performansi modela na nepoznatim, teškim problemima.

U svojoj studiji pokazuju da obuka tijekom testiranja, metoda koja uključuje privremeno ažuriranje nekih unutarnjih funkcija modela tijekom implementacije, može dovesti do šesterostrukog poboljšanja točnosti. Istraživači su razvili okvir za implementaciju strategije obuke tijekom testiranja koja koristi primjere novog zadatka kako bi se maksimizirali ti dobici.

Njihov rad mogao bi poboljšati fleksibilnost modela, omogućujući standardnom LLM-u da se prilagodi složenim zadacima koji zahtijevaju planiranje ili apstrakciju. To bi moglo dovesti do LLM-ova koji bi bili točniji u mnogim primjenama koje zahtijevaju logičko zaključivanje, od medicinske dijagnostike do upravljanja lancem opskrbe.

„Pravo učenje - ono što smo ovdje učinili s obukom tijekom testiranja - nešto je što ovi modeli ne mogu sami od sebe nakon što se isporuče. Ne mogu steći nove vještine ili se poboljšati u zadatku. Ali pokazali smo da ako malo pogurate model da stvarno uči, vidjet ćete da se mogu dogoditi ogromna poboljšanja u performansama“, kaže Ekin Akyürek, doktor znanosti, glavni autor studije.

Istraživači su istraživali kako trening tijekom testiranja utječe na učenje u kontekstu. Proučavali su izbore dizajna koji maksimiziraju poboljšanja performansi koja se mogu izvući iz općeg LLM-a.

Učenje u kontekstu zahtijeva mali skup primjera zadataka, uključujući probleme i njihova rješenja. Istraživači koriste te primjere za stvaranje specifičnog skupa podataka za zadatak potrebnog za obuku tijekom testiranja.

Kako bi proširili veličinu ovog skupa podataka, stvaraju nove ulaze neznatnim mijenjanjem problema i rješenja u primjerima, kao što je horizontalno okretanje nekih ulaznih podataka. Otkrili su da treniranje modela na izlazima ovog novog skupa podataka dovodi do najboljih performansi.

Osim toga, istraživači ažuriraju samo mali broj parametara modela koristeći tehniku ​​​​nazvanu adaptacija niskog ranga, koja poboljšava učinkovitost procesa treniranja tijekom testiranja.

„Ovo je važno jer naša metoda mora biti učinkovita ako će se primijeniti u stvarnom svijetu. Otkrili smo da se mogu postići ogromna poboljšanja u točnosti s vrlo malom količinom treniranja parametara“, kaže Akyürek.

Pojednostavljenje procesa je ključno, budući da se obuka tijekom testiranja provodi za svaku pojedinačnu instancu, što znači da bi korisnik to trebao učiniti za svaki pojedinačni zadatak. Ažuriranja modela su samo privremena, a model se vraća u izvorni oblik nakon što se napravi predviđanje.

Modelu kojem obično treba manje od minute da odgovori na upit, uz obuku tijekom testiranja, možda će trebati pet ili deset minuta da pruži odgovor, dodaje Akyürek.

Istraživači su testirali svoj pristup na dva referentna skupa podataka o izuzetno složenim problemima, poput zagonetki s IQ-om. Povećao je točnost čak šest puta u odnosu na tehnike koje koriste samo učenje u kontekstu.

Zadaci koji su uključivali strukturirane obrasce ili oni koji su koristili potpuno nepoznate vrste podataka pokazali su najveća poboljšanja performansi.

U budućnosti, istraživači žele iskoristiti ove uvide za razvoj modela koji kontinuirano uče.