CUDA核心和Tensor Core是NVIDIA GPU中两种不同类型的计算核心且两种核心存在明显的差别，CUDA核心数量和Tensor Core数量是反映GPU计算性能的重要参数，那么CUDA核心与Tensor Core到底是什么？
CUDA是NVIDIA发明的并行计算平台和编程模型，CUDA利用GPU强大的并行处理能力提升计算的性能。CUDA核心主要用于执行标准的浮点运算（单精度或双精度），每个CUDA核心每个时钟周期可执行乘加操作，适用于各种通用计算任务。
Tensor Core专为深度学习和AI工作负载设计，用于加速矩阵运算，特别是处理半精度(FP16)和全精度(FP32)的矩阵乘法和累加操作，能够优化深度学习训练和推理过程。第一代Tensor Core是随着Volta架构一起推出的，一代Tensor Core允许两个 4 x 4 FP16 矩阵相乘并添加到一个 4 x 4 FP16 或 FP32 矩阵中（如下图所示），可以实现混合精度训练。
