LLM的定制管家--Ollama

一、Ollama是啥？—— 一个让电脑变“AI脑”的神器

  • 人话版：Ollama就像大模型的“万能插座”，能让你在本地电脑上插拔各种AI模型（比如Llama、Qwen、DeepSeek），还不用写代码！
  • 官方定义：开源工具，支持一键下载、运行、管理大语言模型，兼容Windows/Mac/Linux，连你家路由器都能跑（只要内存够）！
  • 为啥用它：隐私安全（数据不出门）、省钱（不用买云服务）、装X利器（“看，我的电脑会写诗！”）

二、安装Ollama——比泡面还简单

Step 1： 下载安装包

官网直达：Ollama，点击“Download”按钮，选你的操作系统（Win/Mac/Linux三选一）

ollama

  • Windows用户：双击.exe文件，一路“Next”到底，连你家猫都能装（前提是它不乱踩键盘）

  • Mac用户：拖进“应用程序”文件夹，比拉黑前男友微信还容易

  • Linux用户：复制粘贴一行代码搞定👇：

    1
    curl -fsSL https://ollama.com/install.sh | sh  # 连sudo都不需要，感动吗？

Step 1： 验证安装

打开终端（Windows用PowerShell，Mac/Linux用Terminal），输入：

1
ollama --version

如果蹦出类似ollama version 0.6.6，恭喜！你已经打败了全国99%的安装失败选手

三、下载模型——选个AI“灵魂伴侣”

Step 2：挑模型就像选奶茶

官方模型库：Ollama/search，大家可以选择如deepseek-r1、qwen、Llama4等热门模型进行下载。

ollama/search

  • 小内存用户（8GB）：选qwen:7b或deepseek-r1:1.5b（15亿参数，勉强能聊）。
  • 土豪配置（32GB+）：直接上qwen:110b或deepseek-r1:70b（参数越多越聪明，但别让电脑冒烟）

Step 2：一键下载模型

在终端输入魔法咒语：

1
ollama run qwen:7b  # 第一次运行会自动下载，泡杯咖啡等进度条吧～

ollama-run

注意：模型默认存在C:\Users\你的用户名\.ollama（Windows）或~/.ollama（Mac/Linux）。想换位置？且看第四步“高级操作”

四、高级操作——让Ollama更“听话”

1. 改模型存储路径（救救C盘！）

  • Windows：
    1. 右键“此电脑”→属性→高级系统设置→环境变量→新建系统变量OLLAMA_MODELS，路径填D:\ollama（随便你放哪）。
    2. 重启电脑，新模型都会存这里！
  • Mac/Linux：
1
2
echo 'export OLLAMA_MODELS=/你的/自定义/路径' >> ~/.zshrc  # 或.bashrc
source ~/.zshrc  # 让配置生效

2. 命令行指南

  • ollama list：看看你下载了哪些模型（显摆用）。

ollama-list

  • ollama rm 模型名：删掉不用的模型（清理前任的AI记忆）。

  • ollama run 模型名：与喜欢的模型进行对话（我前面已经讲过了哦）。

    • 在对话页面输入 /?可以获取神龙之力，获取神的指引。

    ollama-help

    • 可以输入 /bye以退出当前对话。

  • ollama ps：检查哪个模型在运行（防止AI偷偷写小说）。

  • ollama stop 模型名：停止当前正在运行的模型（当然有个更暴力的方法直接杀掉对应的进程即可）。

五、图形界面——告别黑乎乎的终端！

方案1：ChatBox（颜值党必备）

  1. 下载：chatboxai.app，安装后打开。
  2. 设置：选“Ollama API”→填地址http://localhost:11434→选你下载的模型。
  3. 开聊：现在界面和ChatGPT一模一样，截图发朋友圈吧！

chatbox

方案2：Open WebUI

  1. 安装Docker（Windows需先开WSL和Hyper-V）。

  2. 一行代码启动：

    1
    docker run -d -p 3000:8080 -v ollama-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  3. 访问http://localhost:3000，注册账号开聊

六、安全加固——别让电脑“裸奔”

  • 风险：默认端口11434暴露公网？黑客可能偷模型、挖矿甚至让你电脑唱《学猫叫》！
  • 防护措施：
    1. 本地使用：启动时加OLLAMA_HOST=127.0.0.1 ollama serve（锁死本地访问）。
    2. 公网开放：用Nginx加密码认证+HTTPS加密（比较复杂，有缘下个教程再讲）。
    3. 定期更新：ollama update！旧版本漏洞多到能筛米。

七、常见问题——遇到bug别慌！

  • Q：模型下载卡在99%？
    A：按Ctrl+C取消，重新运行命令，Ollama会自动续传（比断网重下小电影靠谱的多了）。
  • Q：模型运行卡成PPT？
    A：换更小的模型（比如1.5B），或者检查内存是否被《原神》吃光了。
  • Q：想用GPU加速？
    A：启动命令加--gpu，比如ollama run qwen:7b --gpu（前提是你有显卡且驱动正常）。

最后一句：如果教程对你有用，请大声告诉你的朋友：“关注这个博主，TA连你都能教会！”