oschina.net 09月30日
GLM-4.6发布:国产芯片实现FP8+Int4混合量化
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

智谱最新版GLM-4.6在国产芯片上实现FP8+Int4混合量化部署,降低推理成本,推动大模型本地化运行。

智谱刚刚上线了 GLM 系列的最新版本:GLM-4.6。 官方公告特别介绍称: GLM-4.6 已在寒武纪领先的国产芯片上实现 FP8+Int4 混合量化部署,这是首次在国产芯片投产的 FP8+Int4 模型芯片一体解决方案,在保持精度不变的前提下,大幅降低推理成本,为国产芯片在大模型本地化运行上开创了可行路径。 此外,基于 vLLM 推理框架...

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

智谱 GLM-4.6 国产芯片 混合量化 大模型
相关文章