【2023 · CANN训练营第一季】TIK C++矢量算子动态shape输入的实现

TIK C++矢量算子动态shape输入的实现

当算子shape固定时,开发者使用不同shape时需要重新对算子进行编译,带来大量的算子二进制文件。而动态shape的算子可以将形状通过核函数的入参传入核函数内,参与内部逻辑计算,从而符合不同shape下的使用场景。两者对比如下:

image-20230528201151927.png
  1. 固定shape的输入
image-20230528201309672.png
  1. 动态shape的输入
image-20230528201432240.png

基于现有的固定shape算子,将其改装为动态shape的算子。将控制形状的BLOCK_DIMTOTAL_LENGTHTILE_NUM这些变量 依靠外界输入得到,在核函数中额外传入一个tiling,它将指向控制核函数逻辑处理的至关重要的这几个变量。

  1. 固定shape和动态shape代码文件的对比


    image-20230528201812282.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容