掘金 人工智能 09月12日
Ollama:本地化运行大模型,安装与应用详解
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Ollama是一个开源的本地化大模型运行平台,允许用户在个人电脑上部署、管理和交互大型语言模型(LLMs),无需依赖云服务。其混合推理特性充分利用CPU和GPU算力,可在同等配置下运行更大模型,非常适合个人学习。本文将详细介绍Ollama在Windows和Linux等平台上的安装过程,包括在线和离线安装方式,并阐述如何配置模型保存路径以及如何下载和运行模型。

💡 Ollama是一个开源的本地化大模型运行平台,其核心优势在于允许用户在个人计算机上独立部署、管理和交互大型语言模型(LLMs),彻底摆脱对云端服务的依赖。这不仅提升了数据隐私性,也为用户提供了更大的灵活性和控制权。

🚀 Ollama采用创新的混合推理技术,能够智能地结合CPU和GPU的计算能力,实现算力的最大化利用。这意味着在相同的硬件配置下,用户可以运行更大、更复杂的语言模型,从而获得更强大的AI能力,尤其适合对模型性能有较高要求的个人用户和学习者。

📦 安装Ollama提供了在线和离线两种便捷的方式。在线安装在官网(ollama.com/)即可轻松下载对应操作系统的安装包,Windows用户直接安装即可,Linux用户可通过`curl -fsSL https://ollama.com/install.sh | sh`命令快速完成。对于网络受限或需要更精细控制的场景,Ollama也提供了GitHub上的离线安装包(github.com/ollama/ollama),用户可自行下载解压并配置环境变量,例如在Linux环境下,解压后需要为`ollama`添加执行权限并更新`.bashrc`文件中的环境变量。

🗄️ 为了方便管理模型文件,Ollama支持自定义模型保存路径。用户可以通过设置环境变量`OLLAMA_MODELS`来指定模型存储的目录,这对于磁盘空间管理尤为重要,尤其是在Windows系统中,避免模型默认下载到C盘。在Linux环境下,同样是在`.bashrc`文件中添加`export OLLAMA_MODELS=/your/desired/path`即可。

📥 模型下载与运行是Ollama的核心功能之一。用户可以通过ollama官网(ollama.com/)直接搜索并下载所需模型,例如搜索“qwen3”,选择适合自己显存大小的模型后,复制提供的命令到命令行即可自动下载和运行。此外,Ollama也支持从Hugging Face等平台手动导入模型,为用户提供了丰富的模型获取途径。

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址:ollama.com/

进到官网之后点击Download然后就可以选择相应的安装包

在线安装

Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。离线包下载地址:github.com/ollama/olla…由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例下载好压缩包后,新建一个文件夹名为ollama,然后解压

mkdir ./ollamatar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

cd ./binchmod +x ollama

添加环境变量在 .bashrc 文件结尾写入ollama/bin文件路径

vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

export PATH=$PATH:/home/data/ollama/bin

更新环境变量

source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

然后点击环境变量这里选任意一个就行变量名为OLLAMA_MODELS

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

vi ~/.bashrc

然后添加

export OLLAMA_MODELS=你想设置的路径

保存并退出后

source ~/.bashrc

然后可以使用以下命令启动ollama

ollama start

模型下载

在线下载

ollama官网: ollama.com/打开官网直接搜索需要的模型,本文以qwen3为例然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适)然后复制命令到命令行随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型——ollama导入huggingface下载的模型,这里不再赘述

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ollama 大模型 本地化部署 LLMs AI 开源平台 安装指南 模型管理 混合推理
相关文章