Tenstorrent lansează procesoarele Wormhole AI: 466 FP8 TFLOPS la 300W

Tenstorrent a prezentat noua sa generație de procesoare Wormhole pentru sarcini de lucru AI, care promite să ofere performanțe decente la un preț scăzut. În prezent, compania oferă două carduri PCIe suplimentare care transportă unul sau două procesoare Wormhole, precum și stațiile de lucru TT-LoudBox și TT-QuietBox destinate dezvoltatorilor de software. Întreaga versiune de astăzi se adresează mai degrabă dezvoltatorilor decât celor care vor implementa plăcile Wormhole pentru volumele lor de lucru comerciale.

Este întotdeauna satisfăcător să punem mai multe produse ale noastre în mâinile dezvoltatorilor. Lansarea sistemelor de dezvoltare cu cardul nostru Wormhole™ îi ajută pe dezvoltatori să crească și să lucreze la software AI multi-chip.“, a declarat Jim Keller, CEO al Tenstorrent. “În plus față de această lansare, suntem încântați de faptul că înregistrarea și pornirea celei de-a doua generații, Blackhole, se desfășoară foarte bine.

Fiecare procesor Wormhole conține 72 de nuclee Tensix (inclusiv cinci nuclee RISC-V care acceptă diverse formate de date) cu 108 MB de SRAM pentru a furniza 262 FP8 TFLOPS la 1 GHz la o putere termică de proiectare de 160 W. O placă Wormhole n150 cu un singur cip are 12 GB de memorie GDDR6 cu o lățime de bandă de 288 GB/s.

Procesoarele Wormhole oferă scalabilitate flexibilă pentru a satisface nevoile variate ale volumelor de lucru. Într-o configurație standard de stație de lucru cu patru plăci Wormhole n300, procesoarele pot fuziona pentru a funcționa ca o singură unitate, apărând ca o rețea unificată și extinsă de nuclee Tensix pentru software. Această configurație permite acceleratoarelor fie să lucreze la același volum de lucru, fie să fie împărțite între patru dezvoltatori sau să ruleze simultan până la opt modele AI distincte. O caracteristică crucială a acestei scalabilități este faptul că funcționează nativ fără a fi nevoie de virtualizare. În mediile centrelor de date, procesoarele Wormhole se vor scala atât în interiorul unei mașini utilizând PCIe, cât și în afara unei singure mașini utilizând Ethernet.

Din punct de vedere al performanței, placa Wormhole n150 cu un singur cip Tenstorrent (72 de nuclee Tensix la 1 GHz, 108 MB SRAM, 12 GB GDDR6 la 288 GB/s) este capabilă de 262 FP8 TFLOPS la 160W, în timp ce placa Wormhole n300 cu două cipuri (128 de nuclee Tensix la 1 GHz, 192 MB SRAM, 24 GB GDDR6 agregat la 576 GB/s) poate oferi până la 466 FP8 TFLOPS la 300W (conformHardware-ul lui Tom).

Pentru a pune în context această cifră de 466 FP8 TFLOPS la 300 W, să o comparăm cu ceea ce Nvidia, liderul pieței AI, are de oferit la această putere termică de proiectare. A100 de la Nvidia nu acceptă FP8, dar acceptă INT8, iar performanța sa de vârf este de 624 TOPS (1 248 TOPS cu sparsity). În schimb, H100 de la Nvidia suportă FP8 și performanța sa de vârf este masivă de 1 670 TFLOPS (3 341 TFLOPS cu sparsity) la 300W, ceea ce reprezintă o diferență mare față de Wormhole n300 de la Tenstorrent.

Există totuși o mare piedică. Wormhole n150 de la Tenstorrent este oferit pentru 999 de dolari, în timp ce n300 este disponibil pentru 1.399 de dolari. Prin contrast, o placă Nvidia H100 poate fi vândută cu 30.000 de dolari, în funcție de cantități. Desigur, nu știm dacă patru sau opt procesoare Wormhole pot oferi într-adevăr performanța unui singur H300, deși vor face acest lucru la un TDP de 600 W, respectiv 1200 W.

În plus față de carduri, Tenstorrent oferă dezvoltatorilor stații de lucru pre-construite cu patru carduri n300 în interiorul TT-LoudBox bazat pe Xeon, mai ieftin, cu răcire activă și TT-QuietBox alimentat cu EPYC, premium, cu răcire cu lichid.

Surse:Tenstorrent,Hardware-ul lui Tom