最近不少客戶都在問，A100和H100到底有啥區別。其實從算力上看，H100的優勢確實明顯。A100的FP32性能是19.5TFLOPS，而H100直接沖到了51TFLOPS。這差距，可不是一般的大啊。

      不過話說回來，H100的價格也確實不便宜。一臺整機要220萬左右，比A100貴了將近15倍。所以很多企業在采購時，都會糾結到底選哪個更好。

大模型訓練中的表現

      在大模型訓練這塊，H100的優勢就更突出了。比如訓練GPT-3這類模型，用H100可以節省30%以上的時間。這主要是因為H100采用了新一代的Hopper架構，Tensor Core性能提升了好幾倍。

多卡集群的成本核算

      如果是做千卡集群，H100的優勢會更大一些。雖然單卡價格高，但是是總體TCO算下來，反而能節省不少成本。因為H100的能效比更高，長期使用下來，電費和散熱成本可以降低20%以上。

      當然，如果預算有限，A100也是個不錯的選擇。畢竟15萬的價格，性價比還是有的。特別是對于中小型企業來說，A100完全夠用了。

采購建議

      最后給點建議吧。如果是做超大模型訓練，建議一步到位選H100。如果主要做推理或者中小型模型，A100就夠用了。至于H200，雖然性能更強，但是是目前價格還在230萬左右，性價比相對低一些。

      話說回來，大家有沒有考慮過一個問題，GPU這么貴，為什么還是供不應求呢？

GPU市場為何持續火爆？

      其實主要原因還是需求太大了。現在AI、大數據、元宇宙這些領域，哪個不需要GPU來支撐？特別是在國內，大廠們都在搶GPU資源，搞得價格一直下不來。

      就拿今年來說吧，H100的價格雖然有所回落，但是是依然在200萬以上。這價格，放在其他行業都能買棟樓了。但是是在GPU市場，大家還是搶著要。

未來趨勢預測

      從目前來看，GPU市場的火爆還會持續很長一段時間。特別是隨著AI應用越來越廣泛，對算力的需求只會越來越大。所以提醒各位采購方，該出手時就出手，別等缺貨了再著急。