OpenAI a publicat un studiu care explică de ce modelele de limbaj generează adesea răspunsuri false dar convingătoare, cunoscute sub denumirea de „halucinații”. Conform cercetătorilor, aceste erori apar pentru că procedurile de antrenare și evaluare actuale stimulează predicția în locul recunoașterii limitelor informației. Pentru asta, OpenAI propune și soluții, care ar putea duce la următorul pas în evoluția inteligenței artificiale.
Ce înseamnă „halucinații” într-un model de limbaj
Halucinațiile sunt afirmații plauzibile dar complet false, generate cu multă încredere de AI. Dacă ai folosit un chatbot AI, cu siguranță le-ai întâlnit, chiar dacă le-ai observat sau nu. Servicii precum ChatGPT pot inventa titlul unei teze de doctorat, chir să ofere trei variante diferite, toate eronate, doar pentru că pare că se potrivesc în context. Sau poate să dea trei date diferite pentru o zi de naștere, dar niciuna corectă, deși are la dispoziție informațiile clare.
Aceste halucinații apar din cauză că evaluările actuale pun accent pe acuratețe, adică obținerea unui răspuns considerat „corect” primește punctaj mare. Astfel, modelele sunt „încurajate” să ghicească când nu au informația potrivită, pentru că dacă s-ar abține sau ar spune „nu știu”, nu ar primi o „recompensă” sub forma unui calificativ înalt. Procesul de pretraining este bazat pe prezicerea cuvântului următor din text, folosind date care nu includ etichete de adevărat/fals. Asta înseamnă că modelul nu învață în mod direct ce este eronat, ci doar ce pare probabil în baza modelelor de limbaj și context.
Ce soluții propune OpenAI
În primul rând trebuie regândite soluțiile de evaluare: penalizarea erorilor și acordarea de credit pentru exprimarea incertitudinii. Este nevoie de mai multă transparență în limitările modelului, adică să spună „nu știu” în loc să ghicească, când informația nu este disponibilă. De asemenea, sunt necesare noi metode de evaluare care să nu măsoare doar acuratețea exactă, ci și modul în care modelul gestionează întrebările care nu au răspuns clar sau sunt ambigue.
Dacă soluțiile propuse vor fi implementate mai pe larg, utilizatorii ar putea vedea chatboti și alte sisteme AI care oferă răspunsuri mai transparente, spunând că nu au suficiente informații, fac mai puține afirmații false convingătoare și au mai multă acuratețe în contexte în care datele reale sunt cunoscute și verificabile.
Deja unele dintre aceste măsuri au fost implementate în GPT-5, întrucât faptul că chatbot-ul AI a returnat un răspuns de genul „nu am informații despre asta”, a făcut înconjurul internetului. Până și Elon Musk, care deține compania concurentă xAI și care tot cheamă OpenAI în instanță pentru a încerca să îi limiteze avansul în domeniu, a lăudat acest tip de răspuns din partea AI-ului.
