手机跑大模型提速倍！微软亚研院开源新技术有就行

手机跑大模型提速倍！微软亚研院开源新技术，有就行

有CPU就能跑大模型，性能甚至超过NPU/GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在CPU上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题常见的方法是模型量化，即将模型的参数量化到较低的比特数，比如4比特、3比特甚至更低，这样模型所需的存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精度的矩阵乘法运算（mpGE...