De când cu boom-ul ăsta AI, din ce în ce mai mulți oameni experimentează cu LLM-uri pe propriile sisteme. Este și cazul unui utilizator de reddit care folosea un model cu 20 de miliarde de parametri pe o placă video GeForce RTX 5070 Ti, însă LLM-ul s-a dovedit insuficient pentru nevoile sale. Așa că a făcut trecerea la un model 35B și l-a lăsat să-și facă de cap în cei 128GB de memorie RAM pe care o avea în sistem. Din nefericire, după numai 90 de minute, un stick de memorie a dat crash și nu mai era recunoscut.
Vorbim despre o configurație cu 128GB de memorie DDR4 ECC formată din 16 module a câte 8GB RAM. Redditor-ul a rulat Orinth-1.5-35B-A3B și l-a lăsat să lucreze în fundal cât a plecat de acasă. După circa 90 de minute, acesta și-a găsit PC-ul nefuncțional, iar după o inspecție rapidă a determinat că un stick de 8GB RAM este complet mort. Teoria supraîncălzirii a fost eliminată din start, acesta susținând că toate modulele operau la temperaturi normale. Iar pentru o vreme, a crezut că întâmplarea asta a fost cauzată de un simplu modul cu probleme.
Au mai trecut însă 8-9 zile, timp în care sistemul a rulat același LLM cu 35 de miliarde de parametri. Dar la o verificare de rutină, eroul poveștii noastre a descoperit că un al doilea stick de RAM trage să moară. Iar cauza este destul de evidentă: memoria DDR4 nu este destul de puternică încât să susțină astfel de sarcini. Vitezele relativ mici, combinate cu vârsta modulelor și cu cerințele imense ale LLM-ului, au dus la degradarea rapidă a celor două module, deci pe viitor vă recomand să fiți atenți atunci când rulați AI local.
