Umjetna inteligencija dizajnirala najbolji AI procesor

Otkad je najavljen Jalapeño, prvi prilagođeni inferencijski procesor tvrtke OpenAI, testiran je čip i sustav izgrađen oko njega. Rezultati pokazuju značajno poboljšanje performansi. Jalapeño može obaviti više AI posla po jedinici snage, a istovremeno brže vraća odgovore. Jalapeño pruža i veći protok i nižu latenciju s jednom arhitekturom, gdje postojeći hardverski sustavi često moraju praviti kompromis između ta dva.

Za korisnike to može značiti brže odgovore, odgovornije agente i pouzdaniji pristup kako potražnja raste. Prema OpenAI-ju, ovi će dobici pomoći da sve sposobnija umjetna inteligencija bude pristupačnija i šire dostupna.

OpenAI modeli također su ubrzali razvoj Jalapeña. Ranije generacije pomogle su timu u dizajniranju i razvoju čipa, dok najnoviji modeli ubrzavaju način na koji ga optimiziraju i programiraju. Performanse Jalapeña protežu se na GPT‑OSS 120B, DeepSeek R1 i Kimi K2.5 1T, što pokazuje da arhitektura funkcionira na modelima razvijenim i unutar i izvan OpenAI-a. U sva tri slučaja, Jalapeño je isporučio 1,5 do 1,9 puta više AI rada po vatu pri vršnoj propusnosti i 1,7 do 3,6 puta nižu latenciju od kraja do kraja od usporednih sustava. Za visoko interaktivna opterećenja, isporučio je 2,1 do 4,1 puta veće performanse.

Jalapeño je također dokaz šire prednosti full-stacka. OpenAI može zajedno dizajnirati modele, proizvode, opslužni softver, čipove, memoriju, umrežavanje i sustave. Jalapeño radi na siliciju prve strane s izmjerenim rezultatima i to je početak višegeneracijske platforme. U narednim mjesecima tvrtka planira pojačati Jalapeño kako bi svojim kupcima isporučila brže, sposobnije i učinkovitije proizvode.

Kako bi razumjeli kako se Jalapeño ponaša u praksi, testirali su ga na InferenceX, javnom benchmarku tvrtke SemiAnalysis koji mjeri cijeli proces posluživanja AI zahtjeva. Usporedili su Jalapeño s vodećim komercijalno dostupnim AI sustavima u testiranom operativnom rasponu, od posluživanja visokog protoka do visoko interaktivnog korištenja s niskom latencijom. Jalapeño je pružio bolju kombinaciju protoka, energetske učinkovitosti i latencije.

U sva tri javna modela, Jalapeño je pružio bolju kombinaciju performansi po vatu i latencije u testiranom radnom rasponu, smještajući ga na Pareto granicu. Kako bi dosljedno usporedili sustave, normalizirali su rezultate koristeći objavljenu snagu čipa svakog akceleratora. Jalapeño je ocijenjen na 700 vata, iako je njegova izmjerena održiva snaga ostala na ili ispod 550 vata pri testiranim opterećenjima.

Na Kimiju, najvećem javnom modelu koji su testirali, isporučio je približno 1,5 puta veće vršne performanse po vatu i 3,4 puta nižu latenciju od kraja do kraja u odnosu na usporedni sustav. U internom testiranju, prednost Jalapeña dodatno se povećala na frontier OpenAI modelima, što sugerira da arhitektura postaje vrjednija kako radna opterećenja rastu veća i zahtjevnija.

Jalapeñovi dobici dolaze od zajedničkog dizajniranja čipa, memorije, mreže, softvera i sustava skalabilne veličine oko stvarnih opterećenja jezičnih modela. Inferencija jezičnih modela prolazi kroz nekoliko različitih faza s različitim uskim grlima. Prethodno ispunjavanje, kada sustav obrađuje upit, računalno je intenzivno, dok je dekodiranje, kada sustav generira odgovor token po token, više ograničeno propusnošću memorije.

Komunikacija također može dodati latenciju kada se podaci moraju kretati između jezgri i čipova, ostavljajući neke procesorske jedinice neaktivnima dok čekaju. Sustav koji se ističe u jednoj fazi može izgubiti tu prednost dok čeka podatke ili premješta stanje modela između različitih resursa.

Jalapeño su dizajnirali kako bi smanjili kretanje podataka i kašnjenja u komunikaciji. To znači da se stanje modela, uključujući KV predmemoriju koja se koristi tijekom generiranja odgovora, može eksplicitno postaviti i zadržati lokalno dok sustav aktivira pravu kombinaciju računalstva, memorije i umrežavanja za svaku fazu zaključivanja.

Mreža je sastavni dio arhitekture. Njena velika domena omogućuje da cijelo radno opterećenje ostane unutar jednog povezanog sustava, minimizirajući kretanje podataka i pomažući da cijeli zahtjev ostane brz i učinkovit od početka do kraja. Rezultat je uravnotežen i zamjenjiv akcelerator koji može podržati promjenjive arhitekture modela, izvrsno se snalaziti i u prethodnom ispunjavanju i u dekodiranju te se prilagođavati kako se mijenja ravnoteža između njih, što je definirajuća značajka agentskih radnih opterećenja.

Koristili su umjetnu inteligenciju za dizajniranje čipa i dizajnirali čip tako da ga umjetna inteligencija može programirati.

Umjetna inteligencija odigrala je izravnu ulogu u razvoju Jalapeña, omogućivši timu da prijeđe s početnog dizajna na završetak u devet mjeseci istraživanjem implementacija, skraćivanjem petlji dizajna, mjerenja i verifikacije te kontinuiranim ponavljanjem opterećenja modela. Umjetna inteligencija također je pomogla u optimizaciji aritmetičkih sklopova čipa, omogućujući timu da ugradi više računalnih performansi u čip na vrijeme.

Dok se OpenAI priprema za implementaciju, nastavlja s kvalifikacijom produkcije, usavršava softver, priprema se za rad Jalapeña u velikim razmjerima i validira performanse na više modela.