victory的博客

长安一片月,万户捣衣声

0%

深度学习编译器 | 深度学习编译器与推理引擎的区别

AI编译器与推理引擎的区别。

从整体架构图可以看到,AI编译器就是针对具体的AI加速芯片硬件,对上层用户接触到的高级语言进行编译,为AI流程实现更加高效的执行,高级语言在AI流程表示的优化是AI编译器的重点。

从整体架构图可以看到,图优化在推理引擎中占了很小的一部分,推理引擎聚焦于Runtime执行部分和Kernel算子内核层,为不同的硬件提供更加高效、快捷的执行Engine。

参考链接1:AI编译器技术剖析(一)-概述 - 知乎 (zhihu.com)

参考链接2:AI编译器和推理引擎的区别 - 知乎 (zhihu.com)