12月13日消息，早在四年前，AMD就曾設(shè)定目標(biāo)，到2025年EPYC系列服務(wù)器處理器和Instinct系列AI芯片的能效，較2020年提高30倍。如今，MI300X AI芯片基本上實(shí)現(xiàn)目標(biāo)，時(shí)間提了早一年。

據(jù)THW報(bào)道，AMD兩個(gè)64核心EPYC 9575F CPU、八個(gè)Instinct MI300X AI芯片及2304GB DDR5內(nèi)存的服務(wù)器，Llama3.1-70B（vLLM 0.6.1.post2、TP8）測(cè)試推理性能，用一組復(fù)雜計(jì)算確定系統(tǒng)能源效率，并與2020年的舊機(jī)器比較，

結(jié)果顯示，新機(jī)能源效率是舊機(jī)的28.3倍。

不過，AMD并未透露2020年的舊機(jī)是何規(guī)格。但大概率是EPYC 7002系列，Zen 2架構(gòu)，每個(gè)CPU最多64個(gè)核心，以及CDNA 1架構(gòu)Instinct MI100 AI芯片。

AMD表示，除了強(qiáng)力硬件改進(jìn)，更高性能效率是架構(gòu)進(jìn)步，加上軟件優(yōu)化結(jié)合，是跳躍式進(jìn)展。

今年10月份的Advancing AI 2024大會(huì)上，AMD正式發(fā)布了新款A(yù)I芯片——GPU加速卡"Instinct MI325X"。它在大獲成功的MI300X基礎(chǔ)上再進(jìn)一步，主要是增強(qiáng)了HBM內(nèi)存部分。

MI325X配備了多達(dá)256GB HBM3E內(nèi)存，相比于MI300X又增加了64GB。

MI325X也支持八塊并行組成一個(gè)平臺(tái)，這就有多達(dá)2TB HBM3E、48TB/s帶寬，總的性能高達(dá)FP16 10.4 PFlops(每秒1.04億億次)、FP8 20.8 PFlops(每秒2.08億億次)。

對(duì)比NVIDIA H200，無論單卡還是八卡平臺(tái)，不同大模型推理的性能都可以領(lǐng)先20-40％。

訓(xùn)練性能方面，單卡可領(lǐng)先H200 10％，八卡平臺(tái)則是持平。

MI325X加速卡和平臺(tái)將在四季度內(nèi)投產(chǎn)，而合作伙伴的整機(jī)系統(tǒng)、基礎(chǔ)架構(gòu)解決方案，將從明年第一季度起連續(xù)推出。

朝暉

文章內(nèi)容舉報(bào)