Inteligența Artificială nu este doar un subiect „hot” al ultimilor ani în domeniul tehnologiei, ci este ceva ce începe să schimbe fundamental felul în care interacționăm cu computerele, telefoanele și cu internetul în general. Schimbarea este lentă, dar avansul acestor tehnologii este foarte rapid. Cu toate acestea, chiar și cele mai avansate modele AI încă nu se descurcă foarte bine la capitolul matematică, în special în probleme avansate. Un studiu realizat de Epoch AI a dezvăluit că modelele ChatGPT și Gemini pot rezolva mai puțin de 2% din problemele unui benchmark numit FrontierMath.
În benchmark-ul FrontierMath, ChatGPT și Gemini eșuează în 98% din cazuri
FrontierMath este un test complex care include sute de probleme de matematică de nivel de cercetare. Acestea sunt realizate cu ajutorul a pest 60 de matematicieni de top din lume. Acest tip de probleme necesită creativitate și raționare, ceea ce dovedește că aceste sisteme AI din prezent nu prea dețin. 98% dintre problemele puse în fața ChatGPT-4o și Gemini 1.5 Pro, cele mai avansate versiuni ale LLM-urilor de la OpenAI și Google, au rămas nerezolvate, răspunsurile fiind complet eronate.
De altfel, nu este greu să vedem cât de slab pregătit este AI-ul din prezent la matematică. Fiind vorba despre modele lingvistice, aceste sisteme sunt foarte bune la a prezice următorul cuvânt atunci când sunt puse să realizeze anumite sarcini, dar rareori se descurcă să țină evidența numerelor pe care le întâlnesc. De altfel, în sarcini complexe unde nu au destule informații în datele folosite pentru „antrenament”, LLM-urile de multe ori inventează doar pentru a oferi un răspuns, indiferent dacă este sau nu corect.
De altfel, problemele din testul FrontierMath sunt complet noi și nepublicate pe internet. Astfel, LLM-urile nu pot fi antrenate cu rezolvări de la alte persoane care au rezolvat aceste probleme anterior. Problemele de acest gen nu pot fi ușor rezolvate de computere, întrucât nu pot fi rezolvate doar prin calcule sau prin utilizarea unor algoritmi. Sunt necesare cunoștințe din mai multe domenii la un nivel foarte înalt, de expert în respectivul domeniu de matematică. Chiar și un student absolvent al unei facultăți de specialitate ar putea avea dificultăți în rezolvarea lor, spune Terence Tao, profesor de matematică în cadrul Universității din California.
