
一般需要有nvswitch连着的A100,比如DGX A100就是八张A100 80G,这样显存才够在FP16下单机模型展开。
cpu他用的是AMD 7742,128核,但64核之类的SKU也能胜任主要是PCI-E通道数得够才带的起A100和ib卡。双路EPYC Rome有196路PCI-E 4.0。

一般需要有nvswitch连着的A100,比如DGX A100就是八张A100 80G,这样显存才够在FP16下单机模型展开。
cpu他用的是AMD 7742,128核,但64核之类的SKU也能胜任主要是PCI-E通道数得够才带的起A100和ib卡。双路EPYC Rome有196路PCI-E 4.0。