Mii de GPU-uri Nvidia stau nefolosite în clusterul Prometheus al Meta

Cât costă a ține un milion de GPU-uri aprinse?

În inima clusterului de antrenament Prometheus al Meta, zeci de mii de procesoare Nvidia stau pur și simplu nefolosite. Acestea așteaptă în rezervă, gata să înlocuiască orice unitate care se strică în timpul rulării.

Obiectivul companiei este să mențină un milion de GPU-uri în funcționare continuă pentru rulări lungi de antrenament. Strategia asigură că, când o unitate cedează, un înlocuitor este disponibil imediat, fără a opri job-ul.

Acest setup reflectă abordarea agresivă a Meta pentru antrenarea la scară mare.

Prin menținerea unui buffer mare de hardware în stare de așteptare, compania minimizează timpii de nefuncționare. Metoda susține obiectivul de a antrena modele AI de frontieră care necesită compute neîntrerupt.

Menținerea unui milion de GPU-uri în funcționare este o întreprindere logistică și financiară uriașă. Clusterul Prometheus al Meta e conceput să facă față cerințelor modelelor de limbaj de generația următoare. GPU-urile nefolosite acționează ca o plasă de siguranță. Când o card moare, sistemul o schimbă fără probleme. Această redundanță e critică pentru rulări de antrenament care pot dura săptămâni sau luni. O singură defecțiune ar putea risipi zile de progres.

Decizia de a ține atâtea GPU-uri nefolosite e o Joburile lungi de antrenament sunt vulnerabile la defecțiuni punctuale. Având o rezervă gata, Meta protejează investiția sa în compute. Această abordare semnalează și încredere în durabilitatea drumului său AI. Compania pariază că costul hardware-ului nefolosit e mai mic decât costul unui job oprit.

Câte GPU-uri conține clusterul Prometheus al Meta?

Câte GPU-uri conține clusterul Prometheus al Meta? Clusterul e conceput să susțină până la un milion de GPU-uri în uz activ.

Zeci de mii de unități suplimentare stau nefolosite ca rezerve.

De ce ține Meta GPU-urile nefolosite în loc să le folosească pentru alte sarcini?

GPU-urile nefolosite servesc ca înlocuitori imediați pentru unitățile stricate. Asta previne întreruperi în antrenare în timpul dezvoltării critice a modelelor.

Ce se întâmplă când un GPU se strică în cluster?

Sistemul schimbă automat un înlocuitor pre-stocat. Antrenarea continuă fără timp de nefuncționare semnificativ.