Unsloth 是免费开源的本地 AI 桌面应用，Windows、macOS、Linux 都能装，装完在同一个界面里既能聊天跑模型、也能用自己的数据做微调，官方口径是训练快 2 倍、显存省 70% 且不掉精度。我第一次在 Windows 上装它的代码版时，一条命令装回来的是几个月前的旧版本，报错却指向别处——下面把这些坑一次讲清。
Unsloth 是干什么的
它把「跑模型」和「训模型」合进同一个窗口，给不想在命令行里配 CUDA、配 Python 环境的人用。项目原本是 GitHub 上的微调加速库，2026 年 8 月做成带图形界面的桌面端。三种用法共用底层：Desktop（原生应用，推荐）、Studio（浏览器 Web UI）、Core（原来的 Python 库）。网上大量教程写的是 from unsloth import FastLanguageModel，那是 Core 的用法，别和桌面版混着看。
功能清单：装上以后能干六件事
- 本地模型库一站下载：模型库标了体积与量化档，Qwen3.8、DeepSeek-V4、Gemma 4、Kimi K3 点一下就下，不用配 Hugging Face token。
- 不写代码做微调：LoRA、QLoRA、全量微调、预训练与 GRPO、DPO，导出 GGUF、FP8、NVFP4。
- 文档直接变训练数据：PDF、CSV、Word 丢进去，Data Recipes 生成数据集。
- 给 Agent 换本地模型：一条
unsloth start claude接上 Claude Code，Codex、VS Code 同理。 - 出图出视频：FLUX、Qwen-Image、Wan、LTX 本机跑也本机训。
- 当 API 服务用：OpenAI 兼容接口，局域网直连或走 Cloudflare 隧道。
站里这篇 AI Agent 工作流搭建入门完全指南 讲流程怎么串，本篇只管把本地模型这一头接上。
下载与安装：官方入口、版本与系统要求
官方入口只有两个：GitHub Releases 页与 unsloth.ai/download。别搜「Unsloth 下载」，搜索前排混着带「镜像站」「加速下载」名头的第三方页，包名和版本号对不上。
最新发布版 v0.1.909-beta（2026-10-19，DeepSeek-V4.1 & FLUX-3），安装包体积：
| 平台 | 体积 |
|---|---|
| Windows x64（.exe） | 22.9 MB |
| Windows ARM64（.exe） | 22.3 MB |
| macOS（.dmg） | 24.7 MB |
| Ubuntu（.deb） | 26.5 MB |
| Ubuntu ARM64（.deb） | 26.8 MB |
| Linux 通用（.AppImage） | 173.2 MB |
二十几兆只是安装包，模型装完另下，默认落在 Hugging Face 缓存目录，Windows 上是 %USERPROFILE%\.cache\huggingface\hub\，C 盘要留几十 GB。官方写的是 Windows、Linux、WSL、macOS 全支持，硬件覆盖 NVIDIA、AMD、Intel 显卡、Apple Silicon、纯 CPU，外加 Vulkan 后端与多 GPU，桌面端基于 Tauri，官方没公布最低显存门槛。授权 Apache-2.0，免费无付费档；仓库 78,334 星、7,247 fork（2026-10-21 经 GitHub API 核对）。
Windows 双击 exe 跟着向导走，或 winget install --id UnslothAI.Unsloth -e；macOS 用 dmg 或 brew install --cask unsloth；Linux/WSL 用 curl -fsSL https://unsloth.ai/install.sh | sh。
上手：从零到跑通本地模型
- 装完别急着下大模型。首次启动会检测显卡并拉运行时组件，要联网。
- 挑跟硬件匹配的量化档。先下一个 7B～8B 的 Q4 档跑通全流程，再换大的。
- 下载完直接对话，无需配置，长对话会自动压缩上下文。
- 联网与深度研究按需开，排查速度问题时先关掉。
- 接 Agent：载好模型，在项目目录跑
unsloth start claude，换成 codex、vscode、hermes 同理。 - 起 API 服务：
unsloth run --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL。
走 Core 代码版的话，Windows 上两个坑必踩。其一，先装 torchao 再装 unsloth：--torch-backend=auto 只在 PyTorch 索引找 torchao，那上面没有较新的 Windows 版，一步到位装会静默解析出旧版 Unsloth，不报错但表现对不上文档。其二，conda 路线先 nvidia-smi 看 CUDA 版本，再去 PyTorch 官网取对应 cu 索引装 torch，装完确认显卡可用再往下走。
关键参数与命令
UNSLOTH_NO_TORCH=1：跳过 PyTorch，只跑 GGUF 推理。UNSLOTH_PYTHON=3.12：钉 Python 版本。UNSLOTH_LLAMA_CPP_BACKEND=vulkan（或 cpu、cuda、rocm、auto）：强制后端。
卸载走官方脚本；模型文件不跟着卸载，从模型库点垃圾桶或清上面那个缓存目录。
更新节奏、已知限制与合规
版本发得很密，10 月一个月出了 6 个 beta（10-07 决策模型、10-08 沙箱、10-12 Browser Use、10-13 性能改进、10-15 模型支持、10-19 DeepSeek-V4.1 与 FLUX-3）。好处是新模型基本 Day Zero 支持，代价是 beta 阶段界面和参数会挪位置。本文版本号与包体积以 2026-10-21 核对的官方页面为准。
限制先说清：Vulkan 后端只加速 GGUF 推理、训练仍走 PyTorch 或 MLX（此条来自第三方目录站，以官方文档为准）；macOS 的 dmg 未做 Apple 公证，首次打开要手动移除隔离属性；训练依旧吃显存，小显卡走量化加 LoRA；「2 倍速度、省 70% 显存」随硬件浮动，别当承诺指标。官方声明无遥测、可完全离线，但开了 Cloudflare 隧道就等于把本机算力开放公网，务必配好访问控制。
下载走官方入口：unsloth.ai/download 与 GitHub Releases。同类配套见 本地日志统计小工具；双击 exe 闪退看 软件运行不了的排查文章。
常见问题
Unsloth 是免费的吗？
是。Apache-2.0 协议，官方无付费档，Colab 免费 Notebook 也是官方提供。
没有独立显卡能跑吗？
能。CPU、Mac 均支持，AMD 与 Intel 显卡也在覆盖内，但老硬件支持可能不好，纯 CPU 建议 GGUF 小模型。
推理比别的 llama.cpp 应用慢，正常吗？
先关掉联网搜索、代码执行和工具调用修复，它们都额外耗时；关掉后应与同类持平，仍慢就去提 issue。
桌面版和 pip 装的 unsloth 是一回事吗？
底层共用，用法不同。桌面版是 Tauri 应用，下安装包即用；pip 装的是 Core，要自己配 torch 与 CUDA。
训练完的模型怎么拿去别处用？
导出 GGUF、FP8 或 NVFP4，丢进 Ollama、llama.cpp 即可；给 vLLM 用则合并成 16bit 权重再导出。
