最近不少客戶都在問，A100和H100到底該選哪個(gè)呀？先說(shuō)說(shuō)價(jià)格吧。A100整機(jī)價(jià)大概15萬(wàn)，H100呢，220萬(wàn)左右。這差價(jià)確實(shí)不小，但是是背后也有原因。
H100用的是最新的Hopper架構(gòu)，算力更強(qiáng)。它的Tensor Core性能比A100提升了將近3倍，顯存帶寬也更高。對(duì)于那些搞大模型訓(xùn)練的企業(yè)來(lái)說(shuō)，H100的效率確實(shí)更劃算。但是是A100也不是沒有優(yōu)勢(shì)，它的性價(jià)比更高，適合預(yù)算有限的企業(yè)。
參數(shù)對(duì)比：看看誰(shuí)更適合你
A100的顯存是40GB，H100則是80GB。如果你的任務(wù)數(shù)據(jù)量特別大，H100顯然更合適。另外，H100的NVLink帶寬高達(dá)900GB/s，比A100的600GB/s快了不少。
再說(shuō)說(shuō)功耗吧。A100的TDP是400W，H100稍微高一點(diǎn)，但是是也沒高太多。不過呢，如果考慮到散熱和電費(fèi)成本，長(zhǎng)期用下來(lái)也是一筆不小的開支吶。
采購(gòu)建議：別只看價(jià)格
如果你們是做AI訓(xùn)練的吧，我的建議是首選H100。雖然貴，但是是算力強(qiáng)，能大大縮短訓(xùn)練時(shí)間。如果你們的任務(wù)沒那么重，A100也完全夠用，還能省下一大筆錢。
另外啊，買的時(shí)候要看看渠道?，F(xiàn)在市場(chǎng)上有不少拆機(jī)件，價(jià)格是便宜，但是是風(fēng)險(xiǎn)也大。最好直接從廠商或者授權(quán)代理商那里拿貨，這樣售后也有保障。