AI agent samostalno hakirao Hugging Face

Prošli tjedan, Hugging Face je otkrio novu vrstu sigurnosnog incidenta, a nakon istrage u kojoj je surađivao s tvrtkom OpenAI, sada znamo da je ovaj incident potaknut kombinacijom OpenAI modela, uključujući GPT‑5.6 Sol i još sposobniji model, dok su interno testirani na benchmarku kibernetičkih sposobnosti.

"Smatramo da je ovaj incident neviđeni kibernetički incident, koji uključuje najsuvremenije kibernetičke mogućnosti, te reagiramo u skladu s tim. U ovoj fazi dijelimo preliminarne nalaze kako bismo pomogli braniteljima da shvate što se dogodilo i kako bismo mogli kalibrirati što su modeli sada sposobni. Nastavit ćemo provoditi temeljitu istragu zajedno s Hugging Faceom i podijelit ćemo više detalja o ranjivostima, incidentu i nalazima kada naša istraga bude završena", navodi OpenAI u svojem priopćenju.

Ovaj se incident dogodio tijekom interne evaluacije koja potiče modele da slijede naprednu eksploataciju koristeći složene putove napada, u nastojanju da se kvantificiraju njihove kibernetičke mogućnosti. Procjenjuju se maksimalne kibernetičke mogućnosti pokretanjem ove evaluacije bez klasifikatora produkcije koji se koriste za sprječavanje modela da slijede visokorizične kibernetičke aktivnosti. Testovi se izvode u visoko izoliranom okruženju, s pristupom mreži ograničenim na mogućnost instaliranja paketa putem interno hostanog softvera treće strane koji djeluje kao proxy i predmemorija za registre paketa.

Modeli su identificirali i povezali ranjivosti u istraživačkom okruženju OpenAI-ja i produkcijskoj infrastrukturi Hugging Facea kako bi dobili testna rješenja izravno iz produkcijske baze podataka Hugging Facea. Svi dokazi upućuju na to da su modeli bili hiperfokusirani na pronalaženje rješenja za ExploitGym, ulažući ekstremne napore kako bi postigli prilično uzak cilj testiranja.

Tijekom rada u okruženju za testiranje sandboxom, modeli su potrošili znatnu količinu inferencijalnog računanja pronalazeći način za dobivanje otvorenog pristupa internetu, u nastojanju da riješe problem evaluacije. Kako bi dobili pristup, modeli su identificirali i iskoristili zero-day ranjivost u proxyju predmemorije registra paketa. S ovim pristupom, modeli su izvršili niz akcija eskalacije privilegija i lateralnog premještanja u istraživačkom okruženju za testiranje sve dok nisu dosegli čvor s pristupom internetu. 

Nakon što su dobili pristup internetu, modeli su zaključili da Hugging Face potencijalno hostira modele, skupove podataka i rješenja za ExploitGym. Znajući to, model je tražio i uspješno pronašao načine za pristup tajnim informacijama koje bi mogao koristiti za varanje evaluacije. U jednom primjeru, model je povezao više vektora napada, uključujući korištenje ukradenih vjerodajnica i zero-day ranjivosti kako bi pronašao put udaljenog izvršavanja koda na Hugging Face poslužiteljima. Sigurnosni tim OpenAI-a otkrio je ovu anomalnu aktivnost interno.

Sigurnosni tim i agenti tvrtke Hugging Face otkrili su i zaustavili aktivnost na svojoj infrastrukturi te su već započeli s obuzdavanjem i forenzičkom rekonstrukcijom vlastitim modelima otvorenog koda. Aktivno surađuju kako bi nastavili istraživati ​​incident.

"Vjerujemo da napredni kibernetički sposobni modeli trebaju pomoći sigurnosnim timovima da pronađu slabosti prije nego što to učine napadači, da shvate kako se ranjivosti mogu povezati i da ih saniraju brzinom stroja. Koristimo ove mogućnosti kako bismo nastavili jačati zaštitu oko konfiguracije infrastrukture i okruženja za procjenu modela", dodaje OpenAI.

Clem Delangue, suosnivač i izvršni direktor tvrtke Hugging Face, rekao je kako su zahvalni na suradnji s OpenAI-jem na ovoj i drugim temama. „Ovaj incident, vjerojatno prvi takve vrste, dokazuje ono što smo dugo vjerovali: sigurnost umjetne inteligencije neće se riješiti time što će bilo koja tvrtka raditi u tajnosti. Bit će riješena javno, zajednički, sa širokim pristupom umjetnoj inteligenciji za svakog branitelja, svugdje“.