術語表條目

叢集(GPU/AI) Cluster (GPU/AI)

由多個GPU組成、並行運作以進行訓練或推論的網絡化群組;規模擴大後,頻寬會成為限制瓶頸。

由英文原文自動翻譯。 閱讀英文原文 →

叢集(Cluster)是指多個GPU組成的網絡化群組,於單一訓練或推論工作負載中並行運作,規模可從數百個到超過100,000個加速器不等。在大規模運作下,GPU之間的互連頻寬會成為限制瓶頸,而非單顆GPU的運算能力。這正是為何前沿模型叢集會帶動InfiniBand、光學收發器及網路架構方面不成比例的支出。參見《網路與光學101》