📱 **手机本地部署AI助手**：PocketPal AI是一款开源App，允许用户在iOS和Android设备上本地运行轻量级AI模型，无需联网，保障数据隐私，实现手机的离线AI助手功能。

⚙️ **模型下载与加载流程**：教程详细说明了如何在PocketPal AI中下载Qwen轻量级模型（如Qwen3-0.6B），支持从Hugging Face Hub在线下载或导入本地GGUF文件。并演示了模型加载到运行内存的关键步骤，以及可能遇到的问题和解决方案。

💡 **端侧AI能力验证**：通过在8GB内存的Android手机上实测Qwen3-0.6B模型，验证了其在生成网页代码、解决鸡兔同笼数学问题以及续写故事等方面的实际表现，证明了轻量级模型在移动端也能胜任日常任务。

🚀 **端侧AI的价值与应用**：文章强调了端侧AI在有限资源下提供可靠、即时、私有智能服务的核心优势，特别适合对响应速度和数据安全有高要求的场景，并鼓励开发者探索更多实际应用。

原创 小林元Coding 2025-10-28 17:02 浙江

手机也能变身离线 AI 助手！

👀 欢迎来到「端侧AI创新挑战赛」官方教程第二期！

🟣 安装方式

iOS 系统用户，打开 App Store，搜索 PocketPal Al，找到应用后点击下载并安装。

Android 用户，可以在 Google Play 商店中搜索 PocketPal AI 进行安装，如果无法访问 Google Play，可以在 GitHub 上下载最新的 Release 版本。（下载地址：https://github.com/a-ghorbani/pocketpal-ai/releases） 下载 APK 文件后，需要在手机设置中授权“允许来自此来源的应用安装”，完成安装。

PocketPal Al 安装后，在首次打开时，界面默认为英文，但支持中文切换。只需点击左上角菜单进入 Settings，将 Language 选项设为“中文（ZH）”即可。

🟣 下载 Qwen 模型

PocketPal AI 本身只是一个容器，不预装任何模型，因此你需要手动下载一个 Qwen 轻量模型才能开始使用，软件默认提供了一些开源模型，如 Qwen2.5-1.5B-Instruct、Qwen2.5-3B-Instruct......如果没有找到自己需要的模型，点击页面右下角的＋按钮，可以加载其他模型。

目前支持两种模型导入方式：添加本地模型和从 Hugging Face 下载。

添加本地模型：需要提前将 .gguf 格式文件保存到手机存储中，点击添加本地模型按钮，手机会弹出文件管理器，找到你存放 .gguf 文件的位置，选择并导入到 PocketPal Al。适合在线下载困难、网络不稳定，或已经拥有模型文件的情况。

从 Hugging Face 模型库下载：我们更推荐这种方式——PocketPal AI 自 v1.5 起已内置 Hugging Face Hub 集成，只需在搜索框中输入 “Qwen”，即可快速筛选出所有 Qwen 系列模型。需要注意的是，模型名称中的 “0.6B”“1.5B”“3B” 等表示参数规模（单位为十亿），数字越大，模型能力越强，但对手机内存和算力的要求也越高。考虑到移动端资源有限，建议首次尝试选择 Qwen3-0.6B-GGUF，它在保持基础语言能力的同时，对 6–8GB 内存的主流手机更为友好。

点击模型名称后，我们可以很清楚的了解模型详情，包括参数规模、文件大小、支持的上下文长度以及量化方式（如 Q4_K_M、Q5_K_S 等）。这些信息有助于你判断该模型是否适合自己的设备。确认无误后，点击“下载”按钮，PocketPal AI 会自动将模型文件保存到应用专属存储空间中，无需手动管理路径。

🟣 加载模型

下载完成后，最关键的一步是加载模型到运行内存。

返回模型列表页面，找到刚刚下载的 Qwen3-0.6B 模型，点击卡片上的“加载”按钮。此时，应用会将模型从存储读入内存，为后续推理做准备。首次加载可能需要 1–3 分钟（具体时间取决于手机性能和模型大小），请耐心等待进度条完成。加载成功后，模型状态会显示为“已加载”，并自动设为当前激活模型。

如果加载失败，常见原因包括：模型文件不完整、手机运行内存不足，或系统权限限制。你可以尝试关闭后台应用释放内存、重新下载模型，或升级到最新版 PocketPal AI（v1.11 起已为 Android 设备新增 Adreno GPU 加速支持，显著提升大模型加载效率）。

加载成功后，点击模型旁的 ▼ 配置按钮，可自定义角色设定、生成长度、对话模板等，特别适合适老化或说明书解读等场景。

完成以上步骤后，你就可以在聊天界面中输入问题，开始跟 AI 助手离线对话了。

为了验证 Qwen3-0.6B 在手机端的实际表现，我们在一台 8GB 内存的 Android 手机上进行了三项基础能力测试。

🟣 编程能力

我们要求模型生成一个“北京三日游规划网页”，要求融合现代简约与中国风元素，并支持手机自适应。模型成功输出了完整的 HTML + CSS 代码，包含红金配色、传统窗格装饰、响应式布局等细节。在手机浏览器中打开后，页面渲染流畅，视觉效果令人满意。

手机运行效果图⬆️

🟣 数学推理能力测试

我们给出经典的“鸡兔同笼”问题——“头共10个，脚共28只，问鸡兔各几只？”模型能正确列出方程、分步求解，最终得出“鸡6只、兔4只”的准确答案，推理过程清晰严谨。

🟣 写作能力测试

我们提供开头“那天雨下得很大，他推门进来，浑身湿透……”，要求续写一个200字的故事。模型能理解上下文，生成语法通顺、情节连贯的短文，具备基本叙事能力。虽然在情感深度和创意表达上仍有提升空间，但对于端侧轻量模型而言，已属优秀表现。

这些测试表明，即使是小尺寸的 Qwen3-0.6B 在手机端也能能胜任日常问答、简单创作、逻辑推理等任务，特别适合对响应速度与隐私安全有高要求的场景。当然，受限于手机算力与内存，端侧模型通常参数规模较小。但这恰恰体现了端侧 AI 的核心价值：在有限资源下，提供可靠、即时、私有的智能服务。 

完成部署只是开始！我们也希望你将实践过程整理为图文教程，结合真实需求（如适老化交互、说明书解读、离线办公等）开发实用 Demo，并投稿。

端侧 AI 创新挑战赛教程，仍在进行中，欢迎感兴趣的小伙伴扫码报名。