Jim Keller-geleide skyfiemaatskappy Tenstorrent het sy volgende generasie Wormhole-verwerker vir KI-werkladings vrygestel, wat hy verwag om goeie werkverrigting teen 'n bekostigbare prys te bied.Die maatskappy bied tans twee bykomende PCIe-kaarte wat een of twee Wormhole-verwerkers kan akkommodeer, sowel as TT-LoudBox- en TT-QuietBox-werkstasies vir sagteware-ontwikkelaars. Al vandag se aankondigings is gemik op ontwikkelaars, nie dié wat Wormhole-borde vir kommersiële werkladings gebruik nie.
“Dit is altyd verblydend om meer van ons produkte in die hande van ontwikkelaars te kry. Ontwikkelingstelsels wat ons Wormhole™-kaarte gebruik, kan ontwikkelaars help om multi-chip KI-sagteware te skaal en te ontwikkel,” het Jim Keller, uitvoerende hoof van Tenstorrent, gesê.Benewens hierdie bekendstelling, is ons opgewonde om die vordering te sien wat ons maak met die band uit en aanskakel van ons tweede generasie produk, Blackhole.”
Elke Wormhole-verwerker bevat 72 Tensix-kerne (waarvan vyf RISC-V-kerne in verskeie dataformate ondersteun) en 108 MB SRAM, wat 262 FP8 TFLOPS by 1 GHz lewer met 'n termiese ontwerpkrag van 160W. Die enkelskyfie Wormhole n150-kaart is toegerus met 12 GB GDDR6-videogeheue en het 'n bandwydte van 288 GB/s.
Wormgatverwerkers bied buigsame skaalbaarheid om aan die uiteenlopende behoeftes van werkladings te voldoen. In 'n standaard werkstasie-opstelling met vier Wormhole n300-kaarte, kan die verwerkers gekombineer word in 'n enkele eenheid wat in die sagteware verskyn as 'n verenigde, breë Tensix-kernnetwerk. Hierdie konfigurasie laat die versneller toe om dieselfde werklading te hanteer, verdeel tussen vier ontwikkelaars of tot agt verskillende KI-modelle gelyktydig te laat loop. 'n Sleutelkenmerk van hierdie skaalbaarheid is dat dit plaaslik kan werk sonder dat dit vir virtualisering nodig is. In 'n datasentrum-omgewing sal Wormhole-verwerkers PCIe gebruik vir uitbreiding binne die masjien, of Ethernet vir eksterne uitbreiding.
Ten opsigte van werkverrigting het Tenstorrent se enkelskyfie Wormhole n150-kaart (72 Tensix-kerne, 1 GHz-frekwensie, 108 MB SRAM, 12 GB GDDR6, 288 GB/s bandwydte) 262 FP8 TFLOPS by 160W behaal, terwyl die dubbelskyfie Wormhole n300-bord gehaal het. (128 Tensix-kerne, 1 GHz-frekwensie, 192 MB SRAM, saamgevoegde 24 GB GDDR6, 576 GB/s bandwydte) lewer tot 466 FP8 TFLOPS by 300W.
Om 300W van 466 FP8 TFLOPS in konteks te plaas, sal ons dit vergelyk met wat KI-markleier Nvidia by hierdie termiese ontwerpkrag bied. Nvidia se A100 ondersteun nie FP8 nie, maar dit ondersteun wel INT8, met 'n piekprestasie van 624 TOPS (1 248 TOPS wanneer yl). In vergelyking, Nvidia se H100 ondersteun FP8 en bereik piekwerkverrigting van 1 670 TFLOPS teen 300W (3 341 TFLOPS teen yl), wat aansienlik verskil van Tenstorrent se Wormhole n300.
Daar is egter een groot probleem. Tenstorrent se Wormhole n150 verkoop vir $999, terwyl die n300 vir $1 399 verkoop. Ter vergelyking, 'n enkele Nvidia H100 grafiese kaart verkoop vir $ 30,000, afhangende van die hoeveelheid. Natuurlik weet ons nie of vier of agt Wormhole-verwerkers werklik die werkverrigting van 'n enkele H300 kan lewer nie, maar hul TDP's is onderskeidelik 600W en 1200W.
Benewens die kaarte, bied Tenstorrent voorafgeboude werkstasies vir ontwikkelaars, insluitend 4 n300-kaarte in die meer bekostigbare Xeon-gebaseerde TT-LoudBox met aktiewe verkoeling, en die gevorderde TT-QuietBox met EPYC-gebaseerde Xiaolong) vloeistofverkoelingsfunksie).
Pos tyd: Jul-29-2024