Marile companii tehnologice au petrecut ultimii ani creând modele de inteligență artificială din ce în ce mai mari, utilizând rack după rack de GPU-uri scumpe pentru a oferi inteligență artificială generativă ca serviciu cloud. OpenAI vorbea recent despre investiții de miliarde necesare pentru infrastructură. Dar există și inteligența artificială miniaturizată. Google a creat modele care pot fi rulate local și au performanțe. Recent, au anunțat o versiune minusculă a modelului său deschis Gemma. Google spune că noul Gemma 3 270M poate fi accesat rapid și menține performanțe robuste în ciuda dimensiunilor reduse.
Ce știm despre Gemma 3 270M
Google a lansat primele sale modele deschise Gemma 3 la începutul acestui an. Modelul putea accesa între 1 miliard și 27 de miliarde de parametri. În inteligența artificială generativă, parametrii sunt variabilele învățate care controlează modul în care modelul procesează intrările pentru a estima răspunsurile oferite. În general, cu cât un model are mai mulți parametri, cu atât performanța este mai bună. Cu doar 270 de milioane de parametri, noul Gemma 3 poate rula pe dispozitive precum smartphone-uri sau chiar în întregime într-un browser web.
Rularea locală a unui model de inteligență artificială are numeroase beneficii, inclusiv confidențialitate îmbunătățită și latență mai mică. Gemma 3 270M a fost conceput având în vedere aceste tipuri de cazuri de utilizare. În testele cu un Pixel 9 Pro, noul Gemma a reușit să ruleze 25 de conversații pe cipul Tensor G4 și să utilizeze doar 0,75% din bateria dispozitivului. Acest lucru îl face de departe cel mai eficient model Gemma.
Dezvoltatorii nu ar trebui să se aștepte la același nivel de performanță al unui model cu miliarde de parametri, dar Gemma 3 270M are propriile sale utilizări. Google a folosit benchmark-ul IFEval, care testează capacitatea unui model de a urma instrucțiuni, pentru a demonstra că noul său model este mai performant. Gemma 3 270M obține un scor de 51,2% în acest test, care este mai mare decât alte modele ușoare care au mai mulți parametri. Noul Gemma este previzibil sub așteptările unor modele de peste 1 miliard, precum Llama 3.2, dar se apropie mai mult decât ați putea crede, având doar o fracțiune din parametri.
Google susține că Gemma 3 270M este bun la respectarea instrucțiunilor imediat ce este disponibil, dar se așteaptă ca dezvoltatorii să ajusteze fin modelul pentru cazurile lor specifice de utilizare. Datorită numărului mic de parametri, acest proces este rapid și, de asemenea, ieftin. Google consideră că noul Gemma va fi utilizat pentru sarcini precum clasificarea textului și analiza datelor, pe care le poate realiza rapid și fără cerințe de calcul intense.
