TensorCore使用

发布时间:2024-12-14 12:43

减少塑料使用,使用可重复使用的购物袋 #生活常识# #环保生活Tips# #可持续发展#

最新推荐文章于 2024-11-09 07:00:00 发布

holyprince 于 2019-12-31 13:20:25 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

目前有两个库使用了TensorCore技术:cuBLAS与cuDNN。

cuBLAS主要加速了GEMM计算,cuDNN里主要用来加速卷积和RNN

而如何cuBLAS与cuDNN无法满足需求,也可以直接调用Tensor Cores进行编程。

Tensor Cores的调用API在nvcuda::wmma命名空间里。通过调用API进行数值初始化,进行矩阵乘加(MMA)操作然后再把数值存回内存。cuda官方给出了一个直接调用的例子,如果想要针对tensorcore进行高性能的优化,可以参考CUDA Toolkit 的cudaTensorCoreGemm。

TensorCore的使用方法:

头文件和命名空间

#include <mma.h>

using namespace nvcuda;

声明和初始化

tile矩阵乘法

const int WMMA_M = 16;

const int WMMA_N = 16;

const int WMMA_K = 16;

__global__ void wmma_example(half *a, half *b, float *c,

int M, int N, int K,

float alpha, float beta)

{

int lda = M;

int ldb = K;

int ldc = M;

int warpM = (blockIdx.x * blockDim.x + threadIdx.x) / warpSize;

int warpN = (blockIdx.y * blockDim.y + threadIdx.y);

【1】使用TensorCore编程:https://devblogs.nvidia.com/programming-tensor-cores-cuda-9/

【2】TensorCore wiki :https://github.com/maddyscientist/mixed-precision/wiki

网址:TensorCore使用 https://www.yuejiaxmz.com/news/view/473487

相关内容

有哪些高效生产力工具值得推荐的?这些AI赋能、顶级硬件必须了解
使用 NODE
科沃斯扫地机器人如何使用,怎么使用,使用教程
使用OkHttp
空调如何使用?空调使用小技巧
拖把的用途和使用方法 家用拖把怎么使用
在使用GDS
python中使用
使用技巧
【python】使用C

随便看看