victory的博客

长安一片月,万户捣衣声

0%

  • FlagGems介绍

    FlagGems是基于OpenAI Triton编程语言实现的高性能通用算子库,能够为大语言模型提供一系列可应用于PyTorch框架的算子,加速模型的推理训练

    FlagGems通过对PyTorch的后端aten算子进行覆盖重写,实现算子库的无缝替换,使用户能够在不修改模型代码的情况下平稳地切换到triton算子库。FlagGems不会影响aten后端的正常使用。

    在pytorch中,核心的张量操作以及底层硬件通信是由ATen库实现的,当ATen需要执行一些可以在GPU上加速的操作时,它会通过CUDA来调用GPU的资源。具体来说,pytorch提供了易于使用的高层API,而ATen则提供张量计算和底层硬件通信。

阅读全文 »

每一个programmer都会使用github托管自己编写的代码,或从github下载、学习优秀开源代码。但是,经常会遇到github打开慢打不开的情况。

解决办法:下载github加速访问软件fastgithub即可丝滑访问github。

阅读全文 »