Jim Keller-geleide chiponderneming Tenstorrent het sy volgende generasie wurmgatverwerker vir AI-werklading vrygestel, wat hy verwag om goeie prestasie teen 'n bekostigbare prys te bied.Die maatskappy bied tans twee bykomende PCIe-kaarte aan wat een of twee wurmgatverwerkers kan akkommodeer, sowel as TT-Loudbox en TT-Quietbox-werkstasies vir sagteware-ontwikkelaars. Al die aankondigings van vandag is gemik op ontwikkelaars, nie diegene wat wurmgatborde vir kommersiële werklading gebruik nie.
"Dit is altyd verblydend om meer van ons produkte in die hande van ontwikkelaars te kry. Laat ontwikkelingsstelsels vry met behulp van ons Wormhole ™ -kaarte kan ontwikkelaars help om AI-sagteware multi-chip te ontwikkel," sê Jim Keller, uitvoerende hoof van Tenstorrent.Benewens hierdie bekendstelling, is ons opgewonde om die vordering te sien wat ons maak met die band en die opwekking van ons tweedegenerasie-produk, Blackhole. ”
Elke wurmgatverwerker bevat 72 Tensix-kerns (waarvan vyf RISC-V-kerns in verskillende dataformate ondersteun) en 108 MB SRAM, wat 262 FP8 TFLOPS teen 1 GHz lewer met 'n termiese ontwerpkrag van 160W. Die enkel-chip-wurmgat N150-kaart is toegerus met 12 GB GDDR6-video-geheue en het 'n bandwydte van 288 GB/s.
Wurmgatverwerkers bied buigsame skaalbaarheid om aan die verskillende behoeftes van werklading te voldoen. In 'n standaard -werkstasie -opstelling met vier wurmgat N300 -kaarte, kan die verwerkers gekombineer word in 'n enkele eenheid wat in die sagteware verskyn as 'n eenvormige, breë Tensix -kernnetwerk. Met hierdie konfigurasie kan die versneller dieselfde werklas hanteer, tussen vier ontwikkelaars verdeel of gelyktydig tot agt verskillende AI -modelle loop. 'N Belangrike kenmerk van hierdie skaalbaarheid is dat dit plaaslik kan loop sonder die nodige virtualisasie. In 'n datasentrumomgewing sal wurmgatverwerkers PCIe gebruik vir uitbreiding in die masjien, of Ethernet vir eksterne uitbreiding.
Wat die prestasie betref, het TenStorrent se enkel-chip-wurmgat N150-kaart (72 Tensix-kerns, 1 GHz-frekwensie, 108 Mb SRAM, 12 GB GDDR6, 288 GB/S-bandwydte) 262 FP8 TFLOPS behaal op 160W, terwyl die Dual-Chip Wormhole N300-bord (128 Tensix Cores, 1 GHZ Frekwers, 192 MB-bord (128 Tensix Cores, 1 GHZ Frekwers Opgesom 24 GB GDDR6, 576 GB/S Bandwydte) lewer tot 466 FP8 TFLOPS by 300W.
Om 300W van 466 FP8 TFLOPS in konteks te plaas, vergelyk ons dit met wat NVIDIA aan hierdie termiese ontwerpkrag bied. NVIDIA se A100 ondersteun nie FP8 nie, maar dit ondersteun wel INT8, met 'n piekprestasie van 624 tops (1 248 toppe as dit yl) is. In vergelyking, ondersteun NVIDIA se H100 FP8 en bereik die piekprestasie van 1 670 TFLOPS by 300W (3,341 TFLOPS op yl), wat aansienlik verskil van Tenstorrent se wurmgat N300.
Daar is egter 'n groot probleem. Tenstorrent se wurmgat N150 verkoop vir $ 999, terwyl die N300 vir $ 1,399 verkoop. Ter vergelyking is 'n enkele NVIDIA H100 -grafiese kaart vir $ 30.000, afhangend van die hoeveelheid. Natuurlik weet ons nie of vier of agt wurmgatverwerkers die prestasie van 'n enkele H300 kan lewer nie, maar hul TDP's is onderskeidelik 600W en 1200W.
Benewens die kaarte, bied TenStorrent voorafgeboude werkstasies vir ontwikkelaars, insluitend 4 N300-kaarte in die meer bekostigbare Xeon-gebaseerde TT-Loudbox met aktiewe verkoeling, en die gevorderde TT-ucietbox met EPYC-gebaseerde Xiaolong) vloeistofverkoelingsfunksie).
Postyd: Jul-29-2024