victory的博客

GPU | CUDA核心与TensorCore的区别

发表于 2024-08-08 分类于 AI ， AI基础设施， GPU ， CUDA核心与Tensor Core的区别

CUDA核心和Tensor Core是NVIDIA GPU中两种不同类型的计算核心且两种核心存在明显的差别，CUDA核心数量和Tensor Core数量是反映GPU计算性能的重要参数，那么CUDA核心与Tensor Core到底是什么？

发表于 2024-08-08 更新于 2024-08-29 分类于 AI ， AI基础设施， CPU ，指令集，指令集以及国产处理器现状

发表于 2024-07-22 分类于编译器，深度学习编译器，后端优化，循环优化

采用深度学习编译器对深度学习代码进行编译时，在编译器后端会对IR代码进行后端优化，循环优化就包括在后端优化中，后端优化能够加速代码的运行效率。深度学习编译器编译流程如下图所示：

发表于 2024-07-22 分类于计算机基础，计算机网络， RDMA ， IB与RoCEv2的对比

Nvidia Infiniband 与 RoCEv2的对比：

发表于 2024-07-22 分类于编译器，深度学习编译器， TVM ， TVM介绍

发表于 2024-07-19 分类于 AI ， AI工具链， CUDA ， CUDA新的竞争者

AI时代，Nvidia作为HPC的头号玩家，其手中的主要利器有：高算力GPU、高速互联设备、CUDA，其中CUDA可以称之为Nvidia的护城河，只有使用CUDA才能利用Nvidia GPU进行高效的运行AI算法。

发表于 2024-07-19 分类于 AI ， AI基础设施，智算中心，什么是智算中心？

发表于 2024-07-19 分类于计算机基础，计算机网络， VPN ，什么是VPN？

在工作、或学习中，如果连接的是内部网络，则可以直接访问内部网络资源，如果在家或出差时想要访问内部网络资源，常需要通过VPN才能访问公司/学校内部网络资源。那么VPN到底是什么呢？

发表于 2024-07-19 分类于计算机基础，计算机网络， TCP/IP ，秒懂TCPIP

数据包传输过程中都用到了哪些协议？

发表于 2024-07-17 分类于 AI ，深度学习，大模型，分布式训练，集合通信以及集合通信原语

大模型的训练需要用到多个配有GPU的节点，GPU间通过集合通信原语进行通信，从而实现GPU间的数据交换和共享。