最近不少客戶在問(wèn)GH200的事情，說(shuō)實(shí)話這款產(chǎn)品挺有意思的。和傳統(tǒng)的DGX系統(tǒng)不一樣，它用的是Grace Hopper超級(jí)芯片架構(gòu)，CPU和GPU直接用NVLink連在一起，省去了PCIe通道的限制吶。你看現(xiàn)在的H100服務(wù)器還得考慮PCIe 4.0 x16的帶寬問(wèn)題，GH200直接把這事兒給解決了。
性能參數(shù)有點(diǎn)狠
72核Grace CPU配上四塊H100 GPU，整套系統(tǒng)光顯存就上了96GB HBM3。算力方面更夸張，F(xiàn)P8精度的AI訓(xùn)練能跑到4個(gè)exaflops。不過(guò)要提醒下啊，這個(gè)數(shù)據(jù)是理論峰值，實(shí)際應(yīng)用能發(fā)揮多少還得看具體場(chǎng)景。
價(jià)格方面現(xiàn)在是230萬(wàn)左右，比單買(mǎi)四張H100加服務(wù)器劃算多了。特別是需要大規(guī)模部署的企業(yè)，省下來(lái)的機(jī)柜空間和散熱成本可不是小數(shù)目。
買(mǎi)之前得想清楚
這套系統(tǒng)確實(shí)強(qiáng)，但是是也不是誰(shuí)都適合買(mǎi)。要我說(shuō)呀，主要看這幾個(gè)點(diǎn)：首先是軟件生態(tài)，現(xiàn)在能完全發(fā)揮GH200性能的框架還不夠多；其次是維護(hù)成本，專(zhuān)用架構(gòu)的機(jī)器往后升級(jí)可能比較麻煩。
如果真要采購(gòu)，建議先拿測(cè)試樣機(jī)跑跑實(shí)際業(yè)務(wù)負(fù)載。我們遇到過(guò)客戶買(mǎi)回去發(fā)現(xiàn)和現(xiàn)有系統(tǒng)兼容性有問(wèn)題，那可真是頭大啦。
對(duì)了，最近聽(tīng)說(shuō)有些渠道在推GH200的期貨，價(jià)格能便宜個(gè)5%-8%。但是是千萬(wàn)要注意交貨周期啊，現(xiàn)在這種尖端設(shè)備動(dòng)不動(dòng)就延期兩三個(gè)月的。
幾個(gè)采購(gòu)小技巧
第一手報(bào)價(jià)直接找英偉達(dá)官方渠道談，他們最近在推企業(yè)直購(gòu)計(jì)劃；如果量不大的話，找我們這種有保稅倉(cāng)現(xiàn)貨的批發(fā)商反而更快；記得要明確的售后條款，特別是這種特種設(shè)備，7天內(nèi)技術(shù)支持響應(yīng)時(shí)間最好寫(xiě)進(jìn)合同。
說(shuō)到底GH200這種設(shè)備吧，適合那些真需要極致性能的大廠。一般中小企業(yè)用用H100或者等H200現(xiàn)貨可能更實(shí)際些。話說(shuō)你們現(xiàn)在主要跑什么業(yè)務(wù)啊？要是以訓(xùn)練大模型為主，那GH200確實(shí)是個(gè)不錯(cuò)的選擇。