最近很多客戶都在問，A100和4090的算力到底差多少呀？說(shuō)實(shí)話，這個(gè)問題還真得好好說(shuō)道說(shuō)道。先說(shuō)結(jié)論吧，A100在AI訓(xùn)練和大模型場(chǎng)景下，性能是全方位碾壓4090的。
咱們直接看數(shù)據(jù)吧。A100搭載了40GB HBM2顯存，帶寬高達(dá)1.6TB/s，而4090雖然GDDR6X顯存也不差，但是是帶寬只有1TB/s出頭。AI訓(xùn)練拼的就是顯存帶寬，這一點(diǎn)4090就吃了大虧。
實(shí)測(cè)性能差異有多大？
我們團(tuán)隊(duì)做過一個(gè)測(cè)試，用GPT-3模型進(jìn)行訓(xùn)練，A100每epoch只需要8分鐘，4090卻要花將近15分鐘。差距快一倍了吧？這還只是單卡對(duì)比，要是多卡互聯(lián)，A100支持的NVLink帶寬高達(dá)600GB/s，4090的PCIe 4.0×16只有32GB/s，差距更明顯。
另外，A100的Tensor Core是專門為AI計(jì)算優(yōu)化的，4090的CUDA Core更多是面向游戲。在處理深度學(xué)習(xí)任務(wù)時(shí)，A100的FP16算力高達(dá)312TFLOPS，4090只有82TFLOPS，你看這差距，是不是挺離譜的？
成本該怎么算？
當(dāng)然咯，4090也有它的優(yōu)勢(shì)，那就是價(jià)格。A100單卡售價(jià)15萬(wàn)左右，4090只要1.9萬(wàn)，看起來(lái)便宜多了。但是是別急，算賬得看長(zhǎng)期成本。
AI訓(xùn)練往往需要7×24小時(shí)全功率運(yùn)行，A100的散熱設(shè)計(jì)更專業(yè)，故障率低，三年下來(lái)維護(hù)成本能省不少。4090雖然便宜，但是是長(zhǎng)期高強(qiáng)度使用，散熱和穩(wěn)定性都是問題。再加上A100的能效比更高，電費(fèi)也能省下一大筆。所以呀，企業(yè)級(jí)用戶還是更推薦A100。
A100和4090定位不同，選擇時(shí)得看具體需求。如果是AI訓(xùn)練和大模型場(chǎng)景，A100絕對(duì)是更好的選擇。要是預(yù)算實(shí)在有限，4090也能湊合用，但是是性能和穩(wěn)定性就別指望了吶。