近期，昆仑技术基于昇腾AI发布了其软FP8解决方案，解决了大模型在成本和效果上的矛盾。该方案通过FP8精度格式，将模型的显存需求减半，降低硬件压力，同时相比INT8量化，推理精度更高，数据表示范围更广。通过精准的反量化算子，FP8权重模型可在昇腾硬件上转化为BF16格式计算，保证精度无损。这一技术突破使得单台服务器能流畅运行更大规模模型，或在标卡机型上实现模型参数规模翻倍并提升并发处理能力。该方案已全面兼容DeepSeek V3.1等主流FP8量化模型，并具备良好的扩展性。
💡 **FP8精度格式的优势：** FP8精度格式相较于传统的FP16/BF16，能直接减半模型的显存需求，有效降低服务器硬件压力。同时，与常见的INT8量化精度相比，FP8在推理精度上更高，数据表示范围更广，成功解决了降低成本与保持模型效果之间的矛盾。
✅ **“精度无损、成本减半”的双重突破：** 昆仑技术的软FP8解决方案通过精准的反量化算子，将FP8权重模型输入昇腾硬件后，转化为BF16格式参与计算。这一过程既保障了计算的准确性，又为后续新FP8权重模型的快速适配提供了灵活性，无需复杂的权重格式转换。这使得在几乎不损失模型精度的前提下，实现显存和内存带宽的双重减半。
🚀 **提升模型运行效率与处理能力：** 在硬件层面，该方案使单台服务器能够流畅运行满血版DeepSeek V3.1模型。即使在KunLun G5500V2、KunLun G5580等标卡机型上，也能实现模型参数规模的翻番，并大幅提升并发处理能力，让不同硬件配置的用户都能享受到FP8推理带来的技术红利。此外，算子整图下发技术可将推理效率提升32%。
🌐 **广泛的生态兼容性与扩展性：** 该软FP8解决方案全面兼容DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3等主流FP8量化模型，确保了部署的便捷性。同时，方案具备良好的扩展性，能够快速支持未来新发布的模型，为大模型技术的持续演进奠定了基础。
IT之家 10 月 28 日消息，近期发布的 DeepSeek V3.1 大模型，因搭载了 FP8 精度格式（UE8M0 FP8）引发业界关注。据华为计算今日消息，河南昆仑技术有限公司（简称“昆仑技术”）基于昇腾 AI 的 Ascend C 算子编程语言，研发出软 FP8 解决方案。
据介绍，FP8 精度格式对比传统的 FP16 / BF16 精度能让模型的显存需求直接减半，降低服务器硬件压力；对比常见的 INT8 量化精度，推理精度更高、数据表示范围更广，解决了“降成本”与“保效果”的矛盾。
▲ 图源：KunLun AI Space 官网截图该方案实现了“精度无损、成本减半”双重核心突破：
将 FP8 权重模型输入昇腾硬件，通过精准的反量化算子，转化为 BF16 格式参与计算，既保障了计算过程的准确性，又为后续新 FP8 权重模型的快速适配预留了灵活空间，无需权重格式的多次转换；
在模型精度几乎无损的前提下，单台 KunLun G8600 即可流畅运行满血版 DeepSeek V3.1 模型；即便在 KunLun G5500V2、KunLun G5580 等标卡机型上，也能实现模型参数规模翻番，同时大幅提升并发处理能力，让不同硬件配置的用户都能享受到 FP8 推理的技术红利。
昆仑技术的软 FP8 解决方案拥有三大核心技术：自研 FP8 反量化算子，显存与内存带宽双减半；算子整图下发，推理效率提升 32%；生态级兼容：主流模型无缝支持。
IT之家从华为计算获悉，KunLun AI Space 软 FP8 解决方案全面兼容 DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3 等主流 FP8 量化模型。同时，该方案具备很好的扩展性，可以快速支持后续新出的模型。
