victory的博客

长安一片月,万户捣衣声

0%

AI基础设施 | 什么是智算中心

  1. 三种数据中心
    • 通算中心(通用服务器-以CPU为主要芯片)
    • 智算中心(智算服务器-以GPU/NPU/TPU等加速芯片为主)
    • 超算中心(超级计算机)
  1. 为什么要有智算中心?

    • 应用类型变化:传统应用以web应用为主,部署在以CPU为核心算力的通用服务器上。随着AI的快速发展,AI Native类型的应用快速占领市场,AI Native应用需要更多的算力。

    • 传统服务器算力不足:大模型、其他AI算法的训练、推理过程需要更大的算力支撑,传统的通用服务器算力不能满足模型的训练和推理,因此需要构建拥有强大算力、高带宽通信的智算中心。

  1. 什么是智算中心?

    智算中心由智算服务器组成,是以人工智能计算任务为主的数据中心。智算中心采用专门的AI算力硬件(GPU/NPU/TPU),适合高效运行AI算法,可以用于计算机视觉(Computer Vision)、自然语言处理(Natural Language Processing)、机器学习(Machine Learning)等领域,处理图像识别(Image Recognition)、语音识别(Speech Recognition)、文本分析(Text Analysis)、模型训练推理(Model Training and Inferring)等任务。

  1. 智算中心的核心-智算服务器:

    • 训练服务器(AI算力板卡多于推理服务器):用于AI模型训练

    • 推理服务器:用于AI算法推理

    • 训推一体服务器:用于AI算法的训练和推理

    • 算力大小:训练服务器 >= 训推一体服务器 > 推理服务器

参考链接:四问四答,彻底看懂智算中心!