RDMA
(Remote Direct Memory Access)技术起初是为了缓解CPU
的压力,提高CPU利用率,从而提高系统性能。随着人工智能
(AI
)、AIGC
以及大模型(LLM)
的快速发展,AI对于计算设备的算力
以及数据处理能力有了更高的要求。
Some Ideas | 工作一周年快乐
发表于
分类于
V Life
,
Some Ideas
,
victory, 工作一周年快乐!
Here's something encrypted, password is required to continue reading.
Triton | 基于Triton语言实现的算子库FlagGems的环境配置以及测试
发表于
分类于
AI
,
AI工具链
,
Triton
,
基于Triton语言实现的算子库FlagGems的环境配置以及测试
FlagGems介绍
FlagGems
是基于OpenAI
Triton
编程语言实现的高性能通用算子库
,能够为大语言模型
提供一系列可应用于PyTorch
框架的算子,加速模型的推理
与训练
。FlagGems通过对
PyTorch的后端aten算子进行覆盖重写
,实现算子库的无缝替换,使用户能够在不修改模型代码的情况下平稳地切换到triton算子库。FlagGems不会影响aten后端的正常使用。在pytorch中,核心的张量操作以及底层硬件通信是由ATen库实现的,当ATen需要执行一些可以在GPU上加速的操作时,它会通过CUDA来调用GPU的资源。具体来说,pytorch提供了易于使用的高层API,而ATen则提供张量计算和底层硬件通信。
Github | github加速器
每一个programmer都会使用github
托管自己编写的代码,或从github下载、学习优秀开源代码。但是,经常会遇到github打开慢
或打不开
的情况。
解决办法:下载github加速访问软件fastgithub
即可丝滑访问github。
计算机网络 | 网关是如何实现通信的
发表于
分类于
计算机基础
,
计算机网络
,
网关是如何实现通信的
在网络的使用过程中,“网关”是一个非常常见的术语,那么网关到底是什么?网关起到什么作用?
计算机网络 | 虚拟机的不同网络模式
发表于
分类于
计算机基础
,
计算机网络
,
虚拟机的不同网络模式
数据结构 | 数据结构测试
操作系统 | 操作系统测试
计算机组成原理 | 计算机组成原理测试
Github | github个人主页美化
如何美化github的个人主页?