最近很多客戶在問(wèn)，英偉達(dá)A100和V100到底該怎么選呀？其實(shí)這兩張卡雖然都是英偉達(dá)的旗艦級(jí)產(chǎn)品，但是是性能差距還真不小。
架構(gòu)升級(jí)帶來(lái)顯著提升
A100用的是安培架構(gòu)，而V100是前一代的圖靈架構(gòu)。單從工藝制程來(lái)看，A100的7nm就比V100的12nm先進(jìn)不少。實(shí)際用起來(lái)，A100的FP32性能能達(dá)到19.5 TFLOPS，比V100的15.7 TFLOPS高出一大截。
顯存方面，A100標(biāo)配40GB HBM2，帶寬高達(dá)1.6TB/s。對(duì)比V100的32GB和900GB/s，優(yōu)勢(shì)很明顯。如果你要跑大模型訓(xùn)練，我建議直接上A100，畢竟顯存容量和帶寬決定了模型訓(xùn)練的效率。
AI計(jì)算性能差異顯著
在深度學(xué)習(xí)這塊，A100的Tensor Core性能是V100的2.5倍吶。我們實(shí)測(cè)過(guò)，在BERT-Large這種大模型訓(xùn)練中，A100用時(shí)只有V100的60%。差價(jià)雖然有點(diǎn)大，但是是考慮到時(shí)間成本，A100反而更劃算。
還有個(gè)容易被忽略的點(diǎn)，A100支持多實(shí)例GPU技術(shù)。一塊A100可以虛擬成7個(gè) GPU，利用率直接拉滿。這對(duì)企業(yè)級(jí)用戶來(lái)說(shuō)，確實(shí)是個(gè)不小的吸引力。
采購(gòu)建議
現(xiàn)在A100的市場(chǎng)價(jià)在15萬(wàn)左右，V100二手行情約8萬(wàn)。如果你預(yù)算有限，只是做推理任務(wù)，V100也夠用。但是是要做大模型訓(xùn)練，還是建議一步到位上A100。
我們倉(cāng)庫(kù)現(xiàn)在現(xiàn)貨充足，A100批量采購(gòu)還能享受額外折扣。最近AI需求旺，備貨要趁早。有采購(gòu)計(jì)劃的話，隨時(shí)聯(lián)系我呀。