单卡跑Llama 70B快过双卡,微软硬生生把FP6搞到了A100里 | 开源
克雷西 发自 凹非寺 量子位 | 公众号 FP8和更低的浮点数量化精度,不再是H100的“专利”了! 老黄想让大家用INT8/INT4,微软团队在没有英伟达官方支持的条...
克雷西 发自 凹非寺 量子位 | 公众号 FP8和更低的浮点数量化精度,不再是H100的“专利”了! 老黄想让大家用INT8/INT4,微软团队在没有英伟达官方支持的条...
本系列是对 的经典实现ps-lite的源码解析,共分4章: 第一章,算是热身,先讲一下我们为什么需要 ,然后再分析一下的入门demo程序,最后介绍中的几个基本概念,为后续...