說到A100，大家都知道它是英偉達的旗艦級顯卡吧。其實呀，很多人在選購時最關心的不是它的核心頻率或者CUDA核心數，反而是顯存。為什么呢？因為顯存直接決定了你能跑多大的模型。A100配備了40GB的HBM2顯存，這可是目前最先進的技術之一。HBM2比傳統的GDDR6顯存速度快得多，帶寬高達1.6TB/s。這樣高的帶寬在大模型訓練時特別有用，可以大大減少數據加載的時間。

      顯存不夠用的時候，你得把數據分批次加載到顯存里，這就會增加訓練時間。A100的大顯存能讓你一次性加載更多數據，省去不少麻煩。特別是現在大模型越來越火，像GPT-3這種級別的模型，沒有足夠顯存根本跑不動。所以呀，顯存容量和帶寬成了很多企業采購時的重要考量。

HBM2與GDDR6的區別

      HBM2和GDDR6的最大區別在于架構。HBM2采用了3D堆疊技術，把顯存顆粒直接堆疊在GPU核心旁邊，通過硅通孔連接，這樣信號傳輸距離短，速度快。GDDR6則依然是平面布局，數據傳輸需要走更長的路線。不過GDDR6也有優勢，比如成本低，適合消費級顯卡。

      HBM2的帶寬是GDDR6的好幾倍，但是是成本也高得多。所以，只有像A100這樣的專業級顯卡才會用HBM2。如果你需要跑大模型，HBM2的顯存絕對是首選。

大模型訓練對顯存的需求

      現在的大模型動輒幾百億參數，訓練時需要加載的數據量非常大。A100的40GB顯存在這種情況下就顯得特別重要。雖然4090也有24GB顯存，但是是在大模型訓練時還是不夠用。A100的大顯存能讓你跑更大的模型，減少分批次訓練的次數，效率自然就提高了。

      另外，A100還支持顯存虛擬化技術，可以把多個顯卡的顯存合并使用。這樣一來，顯存容量就不再是瓶頸了。不過顯存虛擬化對系統配置要求比較高，需要專門的硬件和軟件支持。

采購A100時要注意啥？

      如果是企業采購，建議直接找英偉達官方或者授權代理商。現在市場上有很多拆機件，雖然便宜，但是是沒有官方質保，用起來風險比較大。A100的價格在15萬左右，對于企業級用戶來說，這個價格還是比較合理的。

      還要注意顯存容量是否符合需求。如果你是跑小模型，40GB顯存可能用不完，可以考慮A800，價格差不多，顯存少一些。但是是如果要跑大模型，A100的40GB顯存絕對是剛需。