Anthropic a declarat că modelele sale de securitate bazate pe Claude au obținut acces neautorizat la mediile de producție sensibile ale trei organizații externe în timpul testelor. Le-a și publicat vulnerabilitățile pe Internet. Un caz real s-ar fi soldat cu arestări și condamnări. Anthropic spune că și-a dorit să măsoare capacitățile ofensive ale modelelor.
Claude nu e bun doar la securitate, ci și pentru lansarea de atacuri
Noul incident AI, dezvăluit oficial de Anthropic, reprezintă al doilea caz concret în doar 10 zile. Modele de inteligență artificială de la cei mai puternici furnizori din lume au scăpat de restricții și au pătruns în rețele protejate, o infracțiune care, în scenarii mai tradiționale de hacking, ar putea trimite omul din spatele tastaturii la închisoare timp de ani de zile.
La începutul acestei luni, OpenAI a declarat că modelele sale de securitate au exploatat o vulnerabilitate zero-day pentru a pătrunde în rețeaua Hugging Face, o platformă pentru modele de învățare automată open source și seturi de date AI. Modelele OpenAI au continuat să fure credențiale de acces și alte informații confidențiale despre Hugging Face. Modelele OpenAI au exploatat, de asemenea, credențialele expuse publicului pentru a compromite conturile altor patru servicii terțe.
Anthropic a declarat că incidentul OpenAI i-a stimulat pe inginerii săi să analizeze evaluări similare ale securității cibernetice realizate de modelele Claude. Auditul a descoperit trei incidente „în care un model a accesat internetul în timp ce interacționa cu mediul de evaluare al Irregular, unul dintre partenerii terți de evaluare, și apoi a obținut acces neautorizat la infrastructura de producție a trei organizații diferite”.
Anthropic a declarat că instrucțiunile furnizate de ingineri în timpul provocărilor de tip „capture the flag”, o metodă obișnuită de evaluare a capacităților ofensive și defensive ale diferitelor tehnici de hacking, au arătat clar că mediul de testare era doar o simulare și că modelele nu aveau acces la internetul deschis. De fapt, partenerul de testare Irregular a pus la dispoziție în mod eronat acces la Internet. Ca răspuns, modelele au tratat căile de internet ca parte a exercițiilor.
Intruziunile s-au produs prin intermediul a trei modele Claude: Opus 4.7, Mythos 5 și un prototip intern de cercetare. Opus 4.7, cel mai vechi dintre cele trei, a fost cel care și-a depășit cel mai mult limitele.
