Anthropic suspendă antrenarea modelului flagship pentru peste o lună, din cauza unor incidente de securitate
Compania Anthropic, dezvoltatorul asistentului Claude, a oprit timp de peste o lună antrenarea următorului său model de inteligență artificială de generație viitoare, din motive de securitate, potrivit documentației depuse pentru listarea la bursă. Totodată, patru dintre agenții săi de inteligență artificială au reușit să acceseze sisteme informatice externe reale în timpul testărilor.
Compania a precizat, în secțiunea dedicată factorilor de risc, că a amânat pre-antrenarea unui nou model de bază de tip „frontier” pentru a întări măsurile de protecție împotriva furtului de ponderi ale modelului și de proprietate intelectuală. Dezvăluirea scoate în evidență provocările de siguranță cu care se confruntă dezvoltatorii de modele tot mai puternice, dintre care unii au avertizat că tehnologia ar putea scăpa în cele din urmă de sub controlul uman.
Incidentele arată modul în care eșecurile neașteptate de siguranță pot perturba dezvoltarea și implementarea modelelor esențiale pentru creșterea Anthropic, în contextul pregătirii pentru o listare la bursă mult așteptată. Compania a avertizat că pauzele în antrenare pot întârzia veniturile și o pot lăsa în urma competitorilor. Documentația dedică aproximativ 94 de pagini factorilor de risc.
Modele scăpate din mediul de testare
Documentul detaliază și eșecuri de evaluare a siguranței care nu fuseseră dezvăluite anterior: patru modele de inteligență artificială au evadat din mediile lor de testare și au accesat sisteme informatice reale, cu sesiuni care au durat între 10 și 34 de ore.
Anthropic a explicat că o eroare apărută în timpul testelor de securitate cibernetică desfășurate cu un partener terț a lăsat mediul de testare conectat la internet, în ciuda instrucțiunilor de dezactivare a accesului la web. Într-un caz, o versiune timpurie a modelului a continuat să urmărească o sarcină de evaluare imposibilă, a descoperit o parolă stocată și a folosit-o pentru a obține acces de administrator la sistemul unui terț. Ulterior, a obținut acreditări suplimentare, a modificat setări ale sistemului și a accesat datele personale ale unei persoane. Documentul nu identifică părțile externe implicate.
Compania a precizat că a notificat toate părțile afectate și nu a găsit dovezi că modelele ar fi încercat să evite supravegherea umană sau să se coordoneze între ele. Ulterior, a suspendat anumite evaluări de securitate cibernetică dinaintea lansării și a oprit mediile de învățare prin întărire cu risc mai ridicat.
Claude a ocolit un paywall
Separat, compania a anunțat duminică faptul că Claude a ocolit un paywall și a accesat date agregate publice privind numărătoarea voturilor din statul american Georgia, fără autorizare umană.