Anthropic avertizează în documentele pentru listare că AI-ul poate reprezenta „riscuri existențiale pentru umanitate”
Compania Anthropic intenționează să avertizeze potențialii investitori din cadrul ofertei sale publice inițiale că inteligența artificială avansată ar putea reprezenta „riscuri catastrofale sau existențiale pentru umanitate”, o avertizare neobișnuită din partea unei companii care urmărește să obțină profit din aceeași tehnologie.
Prospectul de listare, consultat de Reuters, evidențiază riscurile asociate modelelor sale de AI, despre care se afirmă că ar putea manifesta „comportamente de autoconservare”, inclusiv încercări de a „rezista la oprire”, de a „ascunde sau manipula informații” și comportamente „asemănătoare șantajului”.
„Dezvoltarea de către noi a unor modele, platforme și aplicații foarte avansate și extinderea cazurilor de utilizare ar putea crește și mai mult riscul ca modelele noastre să provoace daune”, se arată în document.
Deși companiile publice descriu în mod obișnuit riscurile legate de produse pentru investitori, puține, dacă nu chiar niciuna, au emis avertizări care să sugereze că tehnologia lor ar putea cauza potențiala extincție a umanității. Anthropic a subliniat atât potențialul transformator al AI-ului, comparabil cu industrializarea și electricitatea, cât și daunele ireversibile pe care le-ar putea produce dacă este gestionat greșit.
Anthropic și alți dezvoltatori de AI, inclusiv OpenAI, s-au confruntat cu verificări după incidente în care sisteme experimentale au încălcat restricțiile, inclusiv un raport despre un model OpenAI care a încălcat baza de date a sistemului de sănătate din Australia.
Cercetătorul în domeniul siguranței al Anthropic, Evan Hubinger, a estimat o probabilitate mai mare de 10% ca AI-ul să poată ucide oameni în următorul deceniu, ecou al unei opinii exprimate de un fost coleg, Jacob Coxon.
Dezvăluiri cu accent pe riscuri
Compania, care s-a poziționat ca un laborator de AI cu prioritate pe siguranță, a dedicat aproximativ 80 de pagini din cele 261 ale corpului principal al prospectului pentru prezentarea factorilor de risc, aproape dublu față de cele 48 de pagini folosite pentru descrierea activității sale.
Prin comparație, SpaceX, care deține xAI, a dedicat doar aproximativ 38 din cele 277 de pagini ale corpului principal al prospectului pentru factorii de risc.
„Conștientizarea potențială de către model a eforturilor noastre de evaluare creează o limitare semnificativă a capacității noastre de a evalua siguranța modelului”, se arată în prospect. Compania adaugă că modelele dezvoltă uneori capacități neașteptate în timpul antrenării, care pot fi descoperite abia după implementare și pot duce la incidente de siguranță semnificative.
Cercetătorii în AI au avertizat de asemenea că, pe măsură ce modelele devin mai capabile, acestea recunosc tot mai des când sunt supravegheate și își ajustează comportamentul, ceea ce îngreunează monitorizarea.
Anthropic a refuzat să comenteze luni, în urma unei solicitări de comentarii.
Randamente incerte ale investiției în siguranță
În ciuda accentului pe siguranța AI, Anthropic a declarat că randamentele investițiilor sale în acest domeniu sunt incerte. Compania nu a dezvăluit în document cât cheltuiește pe astfel de cercetare. Luna acesta, Anthropic a precizat că aproximativ 6% din puterea de calcul folosită pentru cercetarea în AI a fost alocată muncii de siguranță într-o săptămână de referință din iulie.
Compania, creatoarea modelelor Claude AI, a descris eforturile de siguranță drept „intensive din punct de vedere al resurselor” și a afirmat că trebuie să își împartă fondurile limitate între puterea de calcul, talentul costisitor în AI și siguranță.
Anthropic a precizat că utilizarea de către clienți, și implicit veniturile, este determinată de modele noi, iar un „ritm continuu și suprapus” de lansări este „inerent menținerii poziției la frontiera dezvoltării AI”.
Compania a lansat săptămâna trecută o nouă versiune a modelului său Opus, la 10 zile după ce CEO-ul Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte care solicita temperarea dezvoltării la frontieră.
Unii analiști și experți au afirmat că niciun laborator important de AI nu ar încetini atunci când acest lucru riscă să ofere un avantaj rivalilor într-o industrie în care evaluările se pot schimba cu fiecare lansare.
Anthropic s-a angajat în ultimele săptămâni să publice mai multe date despre modul în care utilizează modelele de AI pentru a construi generațiile viitoare ale tehnologiei, în contextul în care experții avertizează asupra auto-îmbunătățirii recursive — momentul în care modelele se pot dezvolta singure, fără ajutor uman.
„Credem că construirea unor sisteme de AI fiabile, demne de încredere și sigure este o responsabilitate colectivă și că piața va recompensa acest lucru”, a declarat Anthropic în document.