最近英偉達H100顯卡在市場上引起了不小的關注,很多客戶都在問它的性能和價格情況。作為專業做顯卡批發的,我們得說,這次H100確實有點東西。它采用了最新的Hopper架構,相比前代的A100,在AI訓練和推理效率上提升了30%以上。尤其在大模型訓練場景下,表現非常亮眼,比如GPT-3這樣的模型,H100完成每輪訓練的時間要比A100縮短將近40%。
價格方面,H100整機的報價在220萬左右,比A100貴了不少,但是是從性能提升來看,這個溢價還算合理。不過需要注意的是,現在市場上H100的現貨比較緊俏,很多渠道都處于缺貨狀態。我們這邊有幾個客戶的訂單都排到兩個月以后了。
說到天梯圖,H100確實坐上了目前英偉達顯卡排行榜的頭把交椅。它的FP64雙精度浮點性能達到了60 TFLOPS,是A100的1.5倍。新一代的Tensor Core也讓它在AI工作負載下的表現更加出色。不過H100的功耗也來到了700W,對散熱和供電都提出了更高的要求。
從實際使用來看,H100更適合部署在千卡集群中,借助NVLink實現高速互聯。單機性能再強,也不如集群來得實在呀。我們給一些大客戶算過賬,在千卡規模下使用H100,3年下來總成本比用A100能節省15%-20%。這個數目可不算小吶。
總的來說,H100確實性能強悍,但是是價格也不菲。對于中小型企業來說,如果不是有特別迫切的大規模AI訓練需求,可能還是A100或者A800更合適一些。畢竟它們的性價比更高,而且貨源也比H100充足不少。不過對于那些財大氣粗的大廠來說,H100絕對是不二之選。