Aici pe connect urmează o serie în care vom analiza mai în detaliu cum ne ajută Inteligența Artificială care se bazaeză pe GPU-urile NVIDIA GeForce RTX, și începem cu primul material, unul al cărui scop este să vă aducă vouă ceva mai multe informații despre ce înseamnă RTX AI, și cum ne poate face el viața mai ușoară. Însă în primul rând, haideți să vedem care e diferența între un LLM (Large Language Model) care rulează local, chiar pe PC-ul tău cu placă video de la „echipa verde”, și unul care poate fi accesat online, așa cum este ChatGPT.
Practic, totul începe cu instalarea micului program, pe care îl poți descărca chiar de pe site-ul Nvidia. Grijă mare să optezi pentru cea mai recentă versiune, 0.4, pentru cea mai bună experiență și pentru ca să te poți asigura că folosește modelul AI Mistral 7B int4, unul care este bazat pe text și care poate vorbi cu tine doar în engleză, deși înțelege cu ușurință și prompt-uri în română. Desigur, din aplicație poți comuta și poți folosi ca model AI CLIP, care e dezvoltat de OpenAI și care este bazat mai mult pe lucrul cu seturi de date care cuprind multe imagini.
Și spun seturi de date, pentru că asta e, de fapt, ceea ce stă la baza experienței cu ChatRTX. Mărturisesc că este prima dată când folosesc un asistent personal AI care se bazează exclusiv pe seturile locale de date din PC, adică nu pe una vastă, online, precum Chat GPT. Desigur, îmi vei spune că asta limitează experiența mea, însă eu sunt de părere că un astfel de software este excelent pentru folosit în completarea tool-urilor cu care suntem deja obișnuiți. Deci, fără să mai tărăgănez, haideți să vedem cum funcționează ChatRTX într-un test practic pe care l-am realizat pe laptopul personal, unul dotat cu GeForce RTX 3070Ti. De specificat aici și că, fiind vorba de o placă video mai veche, și în format pentru laptop, aceasta s-a calificat in extremis pentru compatibilitatea cu acest software produs de Nvidia, cerințele minime fiind orice placă din seriile RTX 30 și 40, care vine la pachet cu minimum 8GB memorie GDDR6.
AI chiar la tine în PC
Am ales să urc ca bază de date pentru chatbot-ul instalat local o arhivă ceva mai veche de texte scrise pentru revista connect. E vorba de câteva zeci de fișiere în format .doc, la pachet cu câteva zeci de pagini, prelucrate pentru publicare în format .pdf, pentru că ChatRTX se descurcă cu ambele tipuri de fișiere. A durat mai puțin de un minut și am creat un LLM (large language model) propriu, chiar pe laptop, acolo unde GPU-ul meu Nvidia GeForce RTX 3070 Ti a fost pus la treabă. A urmat apoi o conversație similară cu ceea ce putem experimenta oricând pe ChatGPT, deși ChatRTX nu este chiar capabil să rețină istoria conversației. El va răspunde punctual pe baza materialelor din care și-a format database-ul și te va îndruma către informația pe care o cauți. Ba mai mult, am observat că e capabil să și interpreteze rezultatele obținute, așa cum a fost cazul când l-am întrebat despre un review mai vechi de-ale mele, despre jocul exclusiv pentru PS5 Ghost Of Tsushima. Chatbot-ul a fost în stare să exprime cu subiect și predicat o sinteză a acelui review, în care mi-a explicat că cel care a scris respectivul material a avut o părere bună despre acest titlu.
Ceea ce mi se pare și mai interesant și mai util este că, de fiecare dată când ChatRTX îți va da un răspuns la o anumită întrebare el va specifica și fișierul sursă pe care și-a bazat replica. În multe cazuri, acest lucru poate fi deosebit de util pentru că vei ști exact unde să cauți mai departe, dacă ai nevoie de aprofundare. Cum spuneam mai devreme, chiar dacă nu știe să răspundă în limba română, el înțelege destul de bine atunci când o folosești în scris, chiar dacă la început a confundat-o cu spaniola. E un moment foarte bun să ne amintim că nu e vorba nicidecum de o variantă finală a acestui AI, ci doar de una de test, pentru ca utilizatorii să înțeleagă mai bine ce li se pregătește.
Bun mai ales la studiu
Un alt scenariu pe care eu îl văd destul de util, și cu care ChatRTX te poate ajuta este cel care are legătură cu studiul. Să presupunem că ești la facultate, și ai sute de pagini scrie pe un anumit subiect, fără să-ți mai amintești exact și în profunzime chestiunile dezbătute. ChatRTX te poate ajuta cu acest lucru, tot ce trebuie să faci e să pui toate resursele într-un singur loc, apoi să creezi o bază de date cu acestea, în aplicație. Mai departe, AI-ul va sintetiza toate informațiile de care ai nevoie și te va îndruma și către documentul cu pricina, pentru a arunca o privire mai în detaliu.
Deși nu are competențele lui ChatGPT, pentru că nu poate accesa LLM-ul cu pricina, care se află în cloud-ul celor de la OpenAI, ChatRTX este o idee bună și sigură pentru a „purta un dialog” cu PC-ul tău. El poate încărca chiar și toate fișierele pe care le ai în calculator (.doc, .pdf și .txt), și poate extrage informațiile necesare din acestea. E un fel de search la nivel de sistem, dar care poate și interpreta rezultatele obținute. Iar totul se întâmplă mai rapid decât în aplicația clasică de căutare de pe Windows, așa cum am spus, ChatRTX folosindu-se de puterea de procesare a plăcii video de la Nvidia.
Nu este prima implementare a inteligenței artificiale pe care o vedem pe sistemele cu Nvidia, însă este prima care se leagă de căutarea și găsirea informațiilor. Și Nvidia DLSS este tot un soi de AI, care te ajută în gaming și permite rularea mai fluidă a unor jocuri care, altminteri, ar cere destul de multe resurse hardware, resurse pe care poate nu le ai la dispoziție. Iar toată direcția în care se îndreaptă compania este strâns legată de AI, motiv pentru care am asistat și la creșterea puternică pe care producătorul american a cunoscut-o, din punct de vedere financiar, în 2024.
