摩尔线程的 MUSA 架构已成功适配 llama.cpp，这意味着基于 MT GPU 的设备现在能够更便捷地运行包括 LLaMA、Mistral、Qwen 等在内的多种主流大语言模型。llama.cpp 是一个纯 C/C++ 实现的项目，以其简化大模型推理过程、提供先进性能支持的特点而闻名，极大地降低了用户在本地或云端部署和使用大模型的门槛。此次适配将使更多用户能够利用摩尔线程 GPU 的强大算力，推动通用人工智能生态圈的发展，并支持 Intel 和海光处理器等多种平台。

💡 摩尔线程 MUSA 架构已适配 llama.cpp，这是 MT GPU 支持的通用计算架构，旨在简化大语言模型（LLM）的推理过程，并为用户提供跨硬件平台的最优性能。

🚀 llama.cpp 是一个纯 C/C++ 实现的项目，能够支持 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等众多主流语言模型，以及 LLaVA、MobileVLM 等多模态模型，覆盖了广泛的AI推理需求。

💻 用户可以在 MTT S80 / S3000 / S4000 GPU 上，通过 llama.cpp 官方提供的容器镜像来使用这项技术，这为利用摩尔线程 GPU 进行大模型推理提供了便利的途径。

⚙️ 摩尔线程 MUSA SDK 在今年 4 月升级至 4.0.1 版本，支持了基于 Intel 处理器 + Ubuntu 操作系统以及海光处理器 + Kylin 麒麟操作系统的平台，进一步拓展了其在不同硬件环境下的通用性。

IT之家 8 月 6 日消息，摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构，摩尔线程刚刚确认 llama.cpp 已经适配了这种计算架构，“直通全球 AI 生态圈”。

IT之家注：llama.cpp 是一个纯 C / C++ 实现的项目，旨在简化大语言模型 (LLM) 的推理过程，并在多种硬件环境下提供最先进的性能支持，无论是本地部署还是云端运行。其主要目标是以最小的设置和依赖，让用户在广泛的硬件平台上轻松进行 LLaMA 等大模型的推理。

大语言模型因其出色的自然语言理解和生成能力而迅速被广泛使用，llama.cpp 大幅降低了进行大语言模型推理的门槛，能够充分利用硬件的性能来助力用户的大语言模型应用。

llama.cpp 支持多种语言模型，包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模型，以及各种多模态模型如 LLaVA 和 MobileVLM，覆盖广泛的推理需求。

摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构，llama.cpp 适配了这种计算架构。在 MTT S80 / S3000 / S4000 GPU 上，用户可以通过 llama.cpp 官方提供的一系列容器镜像来使用。

今年 4 月，MUSA SDK 升级到了 4.0.1 版本，支持 Intel 处理器＋Ubuntu 操作系统、海光处理器＋Kylin 麒麟操作系统组成的平台。