最近很多客戶都在問H100和V100的區(qū)別呀。其實這兩代顯卡的差距還真不小，尤其是在算力這塊。H100采用了最新的Hopper架構(gòu)，F(xiàn)P32性能直接飆到了60 TFLOPS，而V100還停留在15 TFLOPS左右。這性能提升，整整差了四倍呢。
顯存方面，H100標(biāo)配了80GB的HBM3，帶寬高達(dá)3TB/s。V100的16GB HBM2就有點不夠看了，帶寬才900GB/s。這么一比，顯存差了五倍，帶寬差了快四倍。大模型訓(xùn)練和推理場景下，H100的優(yōu)勢就更明顯了。特別是處理千億參數(shù)大模型的時候，顯存帶寬的重要性不言而喻呀。
實際應(yīng)用中的差距有多大？
具體到應(yīng)用場景，這兩個卡的區(qū)別更明顯了。拿GPT-3的訓(xùn)練來說，用H100集群，一個epoch大概只要8小時。同樣的任務(wù)，換成V100就得40小時往上。這效率差距，明眼人都能算出來吧。
能效這塊，H100也做了很大優(yōu)化。實際TDP大概在700W左右，V100的TDP是300W。但是是考慮到性能差距，H100的每瓦算力還是高出不少。長期運行下來，電費這塊能省不少呢。
NVLink互聯(lián)速度天壤之別
再說說多卡互聯(lián)。H100支持NVLink 4.0，單卡互聯(lián)帶寬高達(dá)900GB/s。V100的NVLink才300GB/s。對于大規(guī)模集群來說，這個差距會讓整體性能拉開好幾個檔次。特別是在千卡集群場景下，H100的優(yōu)勢就更突出了。
目前H100整機價格在220萬左右，V100大概是80萬。雖然價格差了三倍，但是是考慮到性能差距和實際使用成本，長期來看H100還是更劃算的。特別是對于那些對算力要求較高的企業(yè)級客戶，升級到H100絕對是明智之選。