Die Jim Keller-geleide skyfiemaatskappy Tenstorrent het sy volgende generasie Wormhole-verwerker vir KI-werkladings vrygestel, wat na verwagting goeie werkverrigting teen 'n bekostigbare prys sal bied.Die maatskappy bied tans twee bykomende PCIe-kaarte aan wat een of twee Wormhole-verwerkers kan akkommodeer, sowel as TT-LoudBox- en TT-QuietBox-werkstasies vir sagteware-ontwikkelaars. Al vandag se aankondigings is gemik op ontwikkelaars, nie diegene wat Wormhole-borde vir kommersiële werkladings gebruik nie.
“Dit is altyd bevredigend om meer van ons produkte in die hande van ontwikkelaars te kry. Vrystellingsontwikkelingstelsels wat ons Wormhole™-kaarte gebruik, kan ontwikkelaars help om multi-skyfie KI-sagteware te skaal en te ontwikkel,” het Jim Keller, uitvoerende hoof van Tenstorrent, gesê.Benewens hierdie bekendstelling, is ons opgewonde om die vordering te sien wat ons maak met die uitskakeling en inwerkingstelling van ons tweedegenerasieproduk, Blackhole.”
Elke Wormhole-verwerker bevat 72 Tensix-kerne (waarvan vyf RISC-V-kerne in verskeie dataformate ondersteun) en 108 MB SRAM, wat 262 FP8 TFLOPS teen 1 GHz lewer met 'n termiese ontwerpvermoë van 160 W. Die enkel-skyfie Wormhole n150-kaart is toegerus met 12 GB GDDR6-videogeheue en het 'n bandwydte van 288 GB/s.
Wormhole-verwerkers bied buigsame skaalbaarheid om aan die uiteenlopende behoeftes van werkladings te voldoen. In 'n standaard werkstasie-opstelling met vier Wormhole n300-kaarte kan die verwerkers gekombineer word in 'n enkele eenheid wat in die sagteware as 'n verenigde, breë Tensix-kernnetwerk verskyn. Hierdie konfigurasie laat die versneller toe om dieselfde werklading te hanteer, tussen vier ontwikkelaars te verdeel of tot agt verskillende KI-modelle gelyktydig te laat loop. 'n Sleutelkenmerk van hierdie skaalbaarheid is dat dit plaaslik kan loop sonder die behoefte aan virtualisering. In 'n datasentrumomgewing sal Wormhole-verwerkers PCIe gebruik vir uitbreiding binne die masjien, of Ethernet vir eksterne uitbreiding.
Wat werkverrigting betref, het Tenstorrent se enkel-skyfie Wormhole n150-kaart (72 Tensix-kerne, 1 GHz-frekwensie, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwydte) 262 FP8 TFLOPS teen 160W behaal, terwyl die dubbel-skyfie Wormhole n300-bord (128 Tensix-kerne, 1 GHz-frekwensie, 192 MB SRAM, saamgevoegde 24 GB GDDR6, 576 GB/s bandwydte) tot 466 FP8 TFLOPS teen 300W lewer.
Om 300W van 466 FP8 TFLOPS in konteks te plaas, sal ons dit vergelyk met wat KI-markleier Nvidia teen hierdie termiese ontwerpkrag bied. Nvidia se A100 ondersteun nie FP8 nie, maar dit ondersteun wel INT8, met piekprestasie van 624 TOPS (1 248 TOPS wanneer yl). Ter vergelyking ondersteun Nvidia se H100 FP8 en bereik piekprestasie van 1 670 TFLOPS teen 300W (3 341 TFLOPS teen yl), wat aansienlik verskil van Tenstorrent se Wormhole n300.
Daar is egter een groot probleem. Tenstorrent se Wormhole n150 verkoop vir $999, terwyl die n300 vir $1 399 verkoop. Ter vergelyking verkoop 'n enkele Nvidia H100 grafiese kaart vir $30 000, afhangende van die hoeveelheid. Natuurlik weet ons nie of vier of agt Wormhole-verwerkers werklik die werkverrigting van 'n enkele H300 kan lewer nie, maar hul TDP's is onderskeidelik 600 W en 1200 W.
Benewens die kaarte bied Tenstorrent voorafgeboude werkstasies vir ontwikkelaars, insluitend 4 n300-kaarte in die meer bekostigbare Xeon-gebaseerde TT-LoudBox met aktiewe verkoeling, en die gevorderde TT-QuietBox met EPYC-gebaseerde Xiaolong-vloeistofverkoelingsfunksie.
Plasingstyd: 29 Julie 2024