LLM的定制管家--Ollama

一、Ollama是啥?—— 一个让电脑变“AI脑”的神器

  • 人话版:Ollama就像大模型的“万能插座”,能让你在本地电脑上插拔各种AI模型(比如Llama、Qwen、DeepSeek),还不用写代码!
  • 官方定义:开源工具,支持一键下载、运行、管理大语言模型,兼容Windows/Mac/Linux,连你家路由器都能跑(只要内存够)!
  • 为啥用它:隐私安全(数据不出门)、省钱(不用买云服务)、装X利器(“看,我的电脑会写诗!”)

二、安装Ollama——比泡面还简单

Step 1: 下载安装包

官网直达Ollama,点击“Download”按钮,选你的操作系统(Win/Mac/Linux三选一)

ollama

  • Windows用户:双击.exe文件,一路“Next”到底,连你家猫都能装(前提是它不乱踩键盘)

  • Mac用户:拖进“应用程序”文件夹,比拉黑前男友微信还容易

  • Linux用户:复制粘贴一行代码搞定👇:

    1
    curl -fsSL https://ollama.com/install.sh | sh  # 连sudo都不需要,感动吗?

Step 1: 验证安装

打开终端(Windows用PowerShell,Mac/Linux用Terminal),输入:

1
ollama --version

如果蹦出类似ollama version 0.6.6,恭喜!你已经打败了全国99%的安装失败选手

三、下载模型——选个AI“灵魂伴侣”

Step 2:挑模型就像选奶茶

官方模型库Ollama/search,大家可以选择如deepseek-r1qwenLlama4等热门模型进行下载。

ollama/search

  • 小内存用户(8GB):选qwen:7bdeepseek-r1:1.5b(15亿参数,勉强能聊)。
  • 土豪配置(32GB+):直接上qwen:110bdeepseek-r1:70b(参数越多越聪明,但别让电脑冒烟)

Step 2:一键下载模型

在终端输入魔法咒语:

1
ollama run qwen:7b  # 第一次运行会自动下载,泡杯咖啡等进度条吧~

ollama-run

注意:模型默认存在C:\Users\你的用户名\.ollama(Windows)或~/.ollama(Mac/Linux)。想换位置?且看第四步“高级操作”

四、高级操作——让Ollama更“听话”

1. 改模型存储路径(救救C盘!)

  • Windows
    1. 右键“此电脑”→属性→高级系统设置→环境变量→新建系统变量OLLAMA_MODELS,路径填D:\ollama(随便你放哪)。
    2. 重启电脑,新模型都会存这里!
  • Mac/Linux
1
2
echo 'export OLLAMA_MODELS=/你的/自定义/路径' >> ~/.zshrc  # 或.bashrc
source ~/.zshrc # 让配置生效

2. 命令行指南

  • ollama list:看看你下载了哪些模型(显摆用)。

ollama-list

  • ollama rm 模型名:删掉不用的模型(清理前任的AI记忆)。

  • ollama run 模型名:与喜欢的模型进行对话(我前面已经讲过了哦)。

    • 在对话页面输入 /?可以获取神龙之力,获取神的指引。

    ollama-help

    • 可以输入 /bye以退出当前对话。
  • ollama ps:检查哪个模型在运行(防止AI偷偷写小说)。

  • ollama stop 模型名:停止当前正在运行的模型(当然有个更暴力的方法直接杀掉对应的进程即可)。

五、图形界面——告别黑乎乎的终端!

方案1:ChatBox(颜值党必备)

  1. 下载chatboxai.app,安装后打开。
  2. 设置:选“Ollama API”→填地址http://localhost:11434→选你下载的模型。
  3. 开聊:现在界面和ChatGPT一模一样,截图发朋友圈吧!

chatbox

方案2:Open WebUI

  1. 安装Docker(Windows需先开WSL和Hyper-V)。

  2. 一行代码启动:

    1
    docker run -d -p 3000:8080 -v ollama-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  3. 访问http://localhost:3000,注册账号开聊

六、安全加固——别让电脑“裸奔”

  • 风险:默认端口11434暴露公网?黑客可能偷模型、挖矿甚至让你电脑唱《学猫叫》!
  • 防护措施
    1. 本地使用:启动时加OLLAMA_HOST=127.0.0.1 ollama serve(锁死本地访问)。
    2. 公网开放:用Nginx加密码认证+HTTPS加密(比较复杂,有缘下个教程再讲)。
    3. 定期更新ollama update!旧版本漏洞多到能筛米。

七、常见问题——遇到bug别慌!

  • Q:模型下载卡在99%?
    A:按Ctrl+C取消,重新运行命令,Ollama会自动续传(比断网重下小电影靠谱的多了)。
  • Q:模型运行卡成PPT?
    A:换更小的模型(比如1.5B),或者检查内存是否被《原神》吃光了
  • Q:想用GPU加速?
    A:启动命令加--gpu,比如ollama run qwen:7b --gpu(前提是你有显卡且驱动正常)。

最后一句:如果教程对你有用,请大声告诉你的朋友:“关注这个博主,TA连你都能教会!”