量化和反量化

量化 to Int8

也算是比较早期的技术了。现在各家企业也有属于自己的量化工具了，从TFLite,到TensorRT等等很多，今天的学习算是对后续反量化的一个前提了解。

首先根据是否以0为中心分为对称量化和非对称量化，两者的

原论文：https://arxiv.org/abs/2211.10017

从底层理解的话，就是cvt指令虽然是汇编，但是由于其性能和吞吐性能不佳，因此可以使用一些位运算来实现迅速的反量化操作。

论文不单单说快速反量化，还涉及到cutlass、kernel融合等操作，但是这里主要强调的就是权重的反量化。对于[E,M,N]形状的权重，对M维度进行per-channel的量化，得到shape为[E, 1, N]的scale值，在进行online运算的时候进行int8到fp16的转化。