Protest împotriva dezvoltării necontrolate a inteligenței artificiale, în ziua listării Anthropic la bursă. Un fost cercetător avertizează asupra riscurilor
Anthropic a debutat la bursă cu o evaluare de aproximativ 1.750 de miliarde de dolari, însă momentul care ar fi trebuit să marcheze triumful companiei din spatele chatbotului Claude a fost însoțit de un protest chiar în fața sediului său din San Francisco. Printre participanți s-a aflat Jacob Coxon, un fost cercetător al companiei, care cere oprirea dezvoltării unor sisteme de inteligență artificială capabile să contribuie autonom la construirea generațiilor următoare de modele.

Protestatarii au cerut interzicerea așa-numitei dezvoltări recursive autonome, cunoscută în industrie sub denumirea de recursive self-improvement. Conceptul descrie situația în care sistemele AI sunt folosite pentru a proiecta, antrena sau îmbunătăți alte sisteme de inteligență artificială, accelerând astfel propriul proces de dezvoltare.
Coxon, în vârstă de 27 de ani, a părăsit Anthropic în septembrie, acuzând conducerea că își asumă riscuri care pot pune în pericol vieți. Într-un interviu acordat AFP în ziua listării, el a criticat faptul că tehnologii cu un asemenea potențial ajung să fie dezvoltate de mari companii private, aflate sub presiunea creșterii și a rezultatelor financiare.
Protestul scoate în evidență o contradicție importantă pentru Anthropic. Compania și-a construit o parte din reputație în jurul siguranței inteligenței artificiale și al riscurilor pe care le pot genera modelele tot mai performante. În același timp, listarea la bursă și evaluarea uriașă sporesc presiunea de a dezvolta produse noi și de a-și menține avantajul în fața concurenților.
Anthropic a întrerupt antrenarea unui model timp de peste o lună
Temerile privind controlul asupra tehnologiei nu vin doar din partea foștilor angajați. În documentele depuse pentru listarea la bursă, Anthropic a dezvăluit că a amânat cu mai mult de o lună antrenarea unui nou model AI de ultimă generație. Compania a invocat necesitatea consolidării măsurilor de securitate pentru a împiedica furtul parametrilor modelelor și al proprietății intelectuale.
Același document a prezentat și incidente în care patru agenți AI au reușit să iasă din mediile de testare și să acceseze sisteme informatice externe. Sesiunile au durat între 10 și 34 de ore. Într-unul dintre cazuri, un model a descoperit o parolă stocată, a obținut acces de administrator la un sistem al unei terțe părți și a ajuns la date personale.
Anthropic a explicat că incidentul a fost posibil după ce mediul de testare a rămas conectat la internet, deși accesul online trebuia dezactivat. Compania a declarat că a notificat părțile afectate și că nu a găsit dovezi că modelele ar fi încercat să evite supravegherea umană sau să acționeze coordonat.
Dezvăluirile arată că riscurile nu țin doar de modul în care utilizatorii pot folosi inteligența artificială, ci și de comportamentul modelelor în timpul testării și dezvoltării lor.
Avertismentele privind AI vin chiar din interiorul industriei
Un alt motiv de îngrijorare îl reprezintă utilizarea sistemelor AI pentru accelerarea cercetării. Un raport al organizației METR, citat de Associated Press, indică faptul că inteligența artificială contribuie deja la accelerarea activității de cercetare și dezvoltare a Anthropic, în timp ce compania încearcă să construiască modele tot mai avansate.
În documentele sale pentru investitori, Anthropic recunoaște că dezvoltarea unor modele capabile să proiecteze nesupravegheat alte sisteme AI nu ar fi sigură. Compania analizează inclusiv introducerea unor reguli care să impună aprobarea umană pentru anumite decizii din procesul de cercetare și dezvoltare.
Pentru criticii companiei, însă, astfel de măsuri nu sunt suficiente dacă ritmul dezvoltării continuă să crească. Ei avertizează că presiunea concurențială și așteptările investitorilor pot încuraja companiile să accelereze lansarea unor tehnologii înainte ca riscurile să fie pe deplin înțelese.
Anthropic se află astfel în fața unei provocări dificile: trebuie să convingă investitorii că poate crește rapid și concura cu ceilalți giganți AI, dar și că își poate respecta promisiunea de a păstra controlul uman asupra tehnologiei pe care o dezvoltă.