Modelul chinezesc GLM-5.3 a executat atacuri cibernetice complexe în simulări controlate
Modelul emblematic de inteligență artificială al companiei chineze Z.AI, GLM-5.3, a reușit să ducă la bun sfârșit atacuri cibernetice complexe în cadrul unor simulări controlate și a ignorat în repetate rânduri instrucțiunile primite, potrivit unui raport al firmei de cercetare în securitate AI Irregular.
GLM-5.3 a finalizat cu succes, cel puțin o dată, 3 din 13 scenarii de atac cibernetic cu mai multe etape, ceea ce reprezintă cea mai bună performanță înregistrată de Irregular pentru un model AI disponibil public.
În testele companiei, GLM-5.3 rămâne totuși în urma modelelor lider din SUA. Modelul GPT-6 Astra al OpenAI, de exemplu, a finalizat 9 din 10 scenarii într-o evaluare separată, deși testele nu au fost identice.
Rezultatele subliniază îngrijorările că modelele AI din ce în ce mai capabile reduc barierele tehnice pentru atacuri cibernetice sofisticate. Acest lucru este valabil în special în cazul multor modele chinezești precum GLM-5.3, care sunt „open-weight”, adică pot fi descărcate, modificate și operate independent de utilizatori.
Z.AI, cu sediul la Beijing și una dintre principalele startup-uri de AI din China, nu a răspuns imediat unei solicitări de comentariu.
Potrivit Irregular, în timpul atacurilor simulate GLM-5.3 a obținut acces la servicii protejate, a stabilit conexiuni alternative pentru a se deplasa prin rețele informatice și a coordonat operațiuni pe mai multe mașini. Modelul nu a refuzat niciuna dintre sarcinile ofensive testate.
În teste separate, Irregular a constatat că GLM-5.3 a reprodus în repetate rânduri cod informatic din memorie, deși i s-a spus explicit să nu facă acest lucru, ceea ce i-a permis să ajungă la răspunsuri corecte încălcând regulile menite să îi testeze capacitățile.
Cercetătorii au descris comportamentul drept „reward hacking”, situație în care un sistem AI găsește modalități de a obține rezultatul dorit ignorând instrucțiunile. Ei au avertizat că testele care măsoară doar dacă un model reușește să îndeplinească o sarcină ar putea trece cu vederea astfel de încălcări.
Modelele open-weight, populare datorită costurilor reduse
Constatările se adaugă dovezilor privind riscurile de siguranță care apar în sistemele AI chinezești. Cel puțin 20 de studii și evaluări au documentat înșelăciune, eșecuri ascunse și încercări de a ocoli restricțiile din partea agenților AI dezvoltați în China. Totuși, spre deosebire de incidentele cu agenți AI indisciplinați din companiile americane, nu există dovezi că aceștia au scăpat independent de sub controlul operatorilor lor.
Companiile americane de top, inclusiv OpenAI și Anthropic, și-au menținut în mare parte cele mai puternice modele accesibile prin servicii controlate de companie, ceea ce facilitează restricționarea utilizării lor. În schimb, dezvoltatorii chinezi au adoptat modelele open-weight, care au devenit populare în rândul dezvoltatorilor și companiilor din întreaga lume datorită maleabilității și costurilor de utilizare mai reduse.
Z.AI, cunoscută și sub numele de Zhipu AI, a lansat GLM-5.3 în august, după ce a amânat lansarea cu două săptămâni pentru teste suplimentare de siguranță.
Anthropic, care a restricționat accesul la puternicul său model de securitate cibernetică Mythos din cauza temerilor privind utilizarea abuzivă, a declarat în septembrie că GLM-5.3 a dezvoltat atacuri funcționale împotriva vulnerabilităților software în 12% din încercări în testele sale, comparativ cu 14% pentru Mythos.
Anthropic a constatat de asemenea că mecanismele de protecție ale GLM-5.3 puteau fi ocolite folosind tehnici relativ simple.
Institutul Național de Standarde și Tehnologie al SUA a descris la rândul său GLM-5.3 drept cel mai capabil model open-weight pentru sarcini de securitate cibernetică lansat până în prezent, deși a estimat că modelul rămâne în urma sistemelor lider din SUA cu aproximativ patru luni.
Lian Jye Su, analist principal la firma de cercetare tehnologică Omdia, a declarat că industria AI din China are nevoie de mecanisme de control mai puternice și de mai multe teste de siguranță, adăugând că se așteaptă ca principalele laboratoare AI din țară, pe care le-a descris drept strict reglementate, să introducă măsuri corective.