Treniranje AI modela jeftinim gaming GPU-ima

Američki startup Fastino predstavio je Fastino TLM-ove, jezične modele za specifične zadatke izgrađene za točnost i brzinu koji su osmišljeni za razvojne programere i poduzeća koja zahtijevaju umjetnu inteligenciju niske latencije i visoke točnosti za zadatke produkcijske razine. 

Ovi modeli su izgrađeni za integraciju u produkcijska okruženja, s naglaskom na predvidljive performanse i učinkovitost programera. 

Prema Fastinu, ovi modeli su toliko mali da se treniraju s jeftinijim igraćim GPU-ima ukupne vrijednosti manje od 100.000 dolara.

„Naši modeli su brži, točniji i njihovo učenje košta tek neznatno, a istovremeno nadmašuju vodeće modele u određenim zadacima“, kaže Ash Lewis, izvršni direktor i suosnivač tvrtke Fastino.

Fastinova početna TLM linija uključuje više modela namjenski izrađenih za osnovne poslovne i razvojne zadatke:

Sažimanje: Generirajte koncizne, točne sažetke iz dugog ili previše složenog teksta. Idealno za pravne dokumente, zapisnike podrške i istraživanja.

Pozivanje funkcija: Pretvorite korisničke unose u strukturirane API pozive. Savršeno za agentske sustave ili chatbotove koji koriste alate.

Tekst u JSON: Izdvojite čist, produkcijski spreman JSON (lagani tekstualni format za razmjenu podataka koji je jednostavan za čitanje i pisanje) iz neurednog, nestrukturiranog teksta. Izvrsno za parsiranje upita za pretraživanje, obradu dokumenata i analitiku ugovora.

Uređivanje PII podataka: Uklonite osjetljive ili osobne podatke bez ikakvih problema, uključujući korisnički definirane vrste entiteta.

Klasifikacija teksta: Označite bilo koji tekst na prirodnom jeziku ugrađenim mogućnostima za otkrivanje neželjene pošte, filtriranje toksičnosti, blokiranje jailbreaka, klasifikaciju namjere, otkrivanje tema i još mnogo toga.

Cenzura vulgarnosti: Otkrivanje i cenzuriranje vulgarnog ili nesigurnog jezika u stvarnom vremenu.

Ekstrakcija informacija: Izvucite strukturirane podatke poput entiteta, atributa i konteksta iz dokumenata, zapisnika ili unosa prirodnog jezika.

Svaki TLM je optimiziran za pružanje visokih performansi na svom specifičnom zadatku bez rasipanja tokena, bez preplaćivanja za opću inteligenciju.

U usporedbi s generalističkim modelima poput GPT4o, Fastinov model ekstrakcije informacija pruža 17% bolji F1 kada se procjenjuje u odnosu na ovaj kriterij.

"Konačno, naš kriterij za klasifikaciju uključuje preko 800 oznaka za zadatke poput otkrivanja namjere, filtriranja neželjene pošte, analize sentimenta, filtriranja toksičnosti, klasifikacije tema i LLM zaštitnih ograda. Primjeri tekstova kreću se od kratkih upita do punih dokumenata, a taksonomije oznaka uključuju preklapanje i dvosmislenost", navodi Fastino.

Fastinov klasifikator radi s visokom točnošću i latencijom manjom od 100 ms odmah po instalaciji, što ga čini idealnim za moderiranje sadržaja u stvarnom vremenu, zaštitne ograde LLM agenata, usmjeravanje i sigurnosne sustave.

Novi TLM-ovi izgrađeni su oko novog pristupa temeljenog na transformatorima, ali uvodi specijalizaciju zadataka na razini arhitekture, prije i nakon obuke te daje prioritet kompaktnosti, prilagodljivosti vremenu izvođenja i implementaciji neovisnoj o hardveru.

"Ova specijalizacija omogućuje našim modelima da učinkovito rade na hardveru niske klase, od CPU-a do GPU-a niske klase uz istovremeno poboljšanje točnosti za fokusirane zadatke. To poboljšanje performansi dolazi od sustavnog uklanjanja preopterećenja parametara i arhitektonske neučinkovitosti, a ne od trikova specifičnih za hardver. A budući da su naši modeli lagani i brzi, mogu se izravno ugraditi u aplikacije koje su prije bile zabranjene za LLM-ove zbog latencije ili ograničenja troškova", ističe tvrtka.

Više informacija i usporedbe s drugim modelima potražite na ovoj poveznici.