Memoria s-a dovedit una dintre cele mai valoroase resurse pentru serverele AI, ceea ce a dus la o formare a crizei. Însă un parteneriat dintre Marvell și Penguin Solutions a dus la nașterea unui concept de dispozitiv care ar putea rezolva criza de memorie, ori va putea măcar să-i atenueze din efecte. Tehnologia în sine a fost dezvoltată de Celestial AI, companie pe care Marvell a achiziționat-o la începutul acestui an pentru 3.5 miliarde de dolari.
Soluția dezvoltată de Celestial AI este un modul de expansiune care conține 72GB de memorie HBM3e așezată pe două straturi și opt sloturi de memorie DDR5. Iar pentru a comunica între ele, cele două tipuri de memorie folosesc un interposer fotonic care asigură o lățime de bandă de până la 900GB/s, ori 7.2Tbps. Însă cei de la Marvel au venit cu niște îmbunătățiri semnificative, astfel că varianta îmbunătățită suportă până la 16 module de memorie DDR5 cu o capacitate de până la 16TB. Alături de aceste sloturi de RAM, device-ul de expansiune include și 1TB de memorie HBM.

Însă inovația adusă de Marvell este modul în care comunică cele două tipuri de memorie. În locul unui interposer fotonic, compania a implementat un sistem care folosește fibră optică pentru un bandwidth total de 57.6Tbps. Iar la așa viteză și capacitate, un astfel de add-on poate fi cel mai bine descris ca un NAS, dar pentru RAM. Și poate fi accesat de până la 16 servere prin intermediul unui NIC. În felul acesta, memoria este partajată între servere și poate fi utilizată la nevoie de oricare dintre ele.
Iar aici intervin cei de la Pengiun Solutions. Dacă Marvell se ocupă de hardware, ei acoperă partea de software și finisaje, astfel că tehnologia este de la o companie, dar produsul finit este rezultatul colaborării cu o alta. Iar aceste device-uri dezvoltate de Marvell și Penguin Solutions ar putea servi ca alternativă la capacitățile enorme de memorie care sunt cumpărate de centrele de date AI. Pentru deținătorii serverelor este o metodă de salvat bani serioși la upgrade-uri, iar pentru consumatorii de rând ar putea servi același rol pe care l-au avut ASIC-urile în valul de minerit după crypto.

