Unsloth

Unsloth 是什么？

Unsloth 是用于运行和训练 LLM 的开源框架，可通过开源 UI 在你自己的本地硬件上运行和训练 AI 模型。它覆盖文本、视觉、扩散图像与视频、音频和嵌入模型，既支持本地推理，也支持大模型微调。

Unsloth 有三种不同的安装方式：原生应用 Unsloth Desktop、基于浏览器的 Web UI Unsloth Studio，以及最初的代码式 Python 包 Unsloth Core。Desktop 和 Studio 是无代码界面；Core 是开发者在自己的训练脚本和 notebook 中调用的库。

Unsloth Desktop 标注为 Beta，被描述为在自有硬件上运行和训练 AI 模型的免费开源应用，提供 macOS、Windows 和 Linux 版本。Unsloth Studio 同样处于 Beta，定位为在一个本地界面中训练、运行和导出开放模型的开源无代码 Web UI。官网首页用三个词概括 Unsloth Desktop：开源、免费、100% 本地。一篇 2024 年的商业媒体人物报道称，公司联合创始人是 Michael 和 Daniel Han 兄弟，两人当时正在参加 Y Combinator。

核心功能

Unsloth 的主打说法是：训练 LLM、扩散、TTS 和嵌入模型时速度快 2×、显存（VRAM）少用 70%，且不损失准确率。这是厂商自己的数字，背后的测试条件见下文。

训练方法与模型覆盖

• 训练方法： Unsloth 支持强化学习、LoRA、QLoRA、全量微调、预训练、GRPO、DPO 和 FP8 训练。
• 模型范围： 公司称支持 500+ 个模型的推理和训练，视觉、TTS、嵌入和 RL 工作流另有单独文档。
• 无代码训练： 在 Unsloth Desktop 中拖入 PDF、CSV 或 JSON 文件，再选择 LoRA、全量微调或预训练；同一页面重复了速度快 2x、显存少用 70% 的说法，并称多 GPU 可用。
• 训练可观测性： Unsloth Studio 实时跟踪训练损失、梯度范数和 GPU 利用率，进度视图还可在手机等其他设备上打开。

速度说法背后的基准条件

公开的训练基准在 H100 和 Blackwell GPU 上运行，使用 Alpaca 数据集，batch size 为 2、梯度累积步数为 4、rank 为 32，并对所有线性层使用 QLoRA。以 Hugging Face + FA2 为基线，表格列出：Llama 3.3（70B）速度 2x、显存减少超过 75%、上下文长 13 倍；Llama 3.1（8B）速度 2x、显存减少超过 70%、上下文长 12 倍，两者均基于 80GB GPU。

Unsloth 将长上下文结果归功于其梯度检查点算法加上 Apple 的 CCE 算法，并称数据越多，显存占用越少。这些是厂商基准，不是独立测量。

运行模型、工具与研究

• 自愈式工具调用： Unsloth 称，能检测、修复并重试失败的工具调用可使工具调用准确率最多提高 50%，模型还能在安全环境中执行 Bash 和 Python。
• 网页搜索与深度研究： 普通网页搜索在模型仍在思考时运行；深度研究先做规划，再搜索来源，然后撰写带引用的详细报告。
• 图像与视频生成： Unsloth 可使用 Qwen-Image-2.1、FLUX、Z-Image、LTX、Wan 以及微调后的 LoRA 适配器生成内容。其自己的示例称，在 NVIDIA B200 上运行 MiniMax-H3 FP8，把一次 960×544、124 帧、8 步的生成从 70 秒以上缩短到 13 秒。
• 新模型发布： Unsloth 称能运行和训练几乎所有模型，包括即将发布的模型，并承诺为 Qwen3.8、Gemma、Meta、NVIDIA 和 GLM 等系列提供 Day Zero 支持，同时把基础工作归功于 llama.cpp 和 Hugging Face。
• 模型对比与推理： Studio 可让模型并排对战，其 llama.cpp 和 Hugging Face 后端负责多 GPU 推理、自动卸载（offloading）和适配（fitting）。

导出、API 与服务商

Unsloth Studio 可把模型（包括微调后的模型）导出为 safetensors 或 GGUF，供 llama.cpp、vLLM、Ollama、LM Studio 及其他运行时使用。正是这一导出步骤，把在 Unsloth 中训练的模型带入其他软件。

反方向上，Unsloth 通过兼容 OpenAI 的 API 提供本地模型服务，也可接入 ChatGPT/Codex 订阅和云服务商。unsloth run 命令可启动模型服务，并调整上下文大小、GPU 层数、线程、采样、网络和工具配置等设置。

使用指南

安装 Unsloth Desktop

1. 下载适合你系统的安装包：macOS 为 .dmg 文件，Windows 为 .exe，Linux 为 .deb。
2. 在 macOS 上打开 .dmg 安装包，把 Unsloth 拖到 Applications，然后启动应用并等待安装完成；Windows 和 Linux 按安装程序提示操作。
3. 打开 Select model 下拉菜单或 Model hub 标签页，选择模型和适合你设备的量化版本，下载完成后即可开始聊天。

在 Unsloth Studio 中微调

1. 启动 Unsloth，从本地文件或受支持的集成加载模型。
2. 从 PDF、CSV 或 JSONL 文件导入训练数据，或从零构建数据集。
3. 在 Data Recipes 中清洗并扩充数据集，然后使用推荐预设或自定义配置进行训练。
4. 与训练好的模型聊天，将其与基础模型对比，然后在本地保存或导出到你已在使用的技术栈。

Studio 也可导入 YAML 训练配置并预填相关设置，而不必从预设开始。

远程访问

默认情况下，unsloth studio 绑定到 127.0.0.1，因此只有本机能访问。--secure 选项只通过免费的 Cloudflare HTTPS 链接提供服务，隧道无法建立时根本不会启动，因此原始端口永远不会暴露。

Unsloth 使用场景

• 本地编码代理： Unsloth Start 通过 unsloth start 命令把 Claude Code、Codex 等代理连接到本地模型，让代理工作流可以使用你自己 GPU 上的模型运行。
• 把文档变成训练数据： Data Recipes 通过由 NVIDIA NeMo Data Designer 驱动的图节点工作流，把上传的 PDF、CSV 和 JSON 文件转换为可用数据集或合成数据集，让微调数据集可以从你自己的文档起步。
• 自定义图像风格： Unsloth 可用你自己的图片为 SDXL、FLUX.2、Qwen-Image 和 Z-Image 训练 LoRA 适配器，图片标注和 rank 选择都在应用内完成，结果可导出并重新加载用于推理。
• 本地语音工作流： 该应用可完全在本地生成、微调或转写音频，涵盖文本转语音、语音转文本、Whisper 和 Qwen3-ASR。
• 没有本地 GPU 也能试微调： 免费的 Google Colab notebook 可在 Colab 的 T4 GPU 上运行 Unsloth Studio，大多数 22B 参数以内的模型都能在其中训练和运行，之后再换到更大的 GPU。

适用人群

• 只有一块 GPU 的开发者： 2026 年一项独立的框架对比推荐在单块消费级 GPU、架构受支持并使用 LoRA 或 QLoRA 时选用 Unsloth，理由是其上下文长度余量。
• 想本地运行大模型但不做训练的人： UI 完全不要求微调；你可以下载任意 GGUF 或模型并直接使用。
• 没有独立 GPU 的用户： 没有 GPU 时 Unsloth 仍可用于 Chat 和 Data Recipes，因此仅有 CPU 的机器也能与模型聊天并构建数据集。
• 需要高级并行的团队不太适合： 同一对比称，当张量、上下文或专家并行需要作为一等配置，或模型不在其支持列表中时，Unsloth 就会失效，因为其收益来自针对特定架构的内核。

支持平台

• 桌面版下载： Unsloth Desktop 提供 Mac（Apple Silicon 和 Intel）的 .dmg、Windows 10 及以上版本的 .exe，以及 Ubuntu 和兼容 Linux 发行版的 .deb。
• 操作系统与芯片： Unsloth 支持 Mac、Windows、Linux 和 WSL，以及 NVIDIA、Intel、AMD 和 Mac 的 GPU 与 CPU，但较旧的硬件可能支持不佳。
• Studio 训练硬件： Unsloth Studio 训练目前可在 NVIDIA、AMD、MLX 和 Intel 设备上运行，需要 Python 3.11–3.13；Unsloth Core 也能在 AMD 和 Intel 设备上训练。
• Windows： Studio 无需 WSL 即可在 Windows 上运行，但列出的训练要求是 Windows 10 或 11（64 位）以及已安装驱动的 NVIDIA GPU。
• NVIDIA 上的 Unsloth Core： Core 需要 CUDA 计算能力 7.0 或更高的 GPU，如 V100、T4、RTX 20 和 50 系列、A100、H100 或 L40；GTX 1070 和 1080 可用但较慢。
• 其他硬件上的 Unsloth Core： AMD 和 Intel GPU 通过专门指南支持，而 Core 对 Apple Silicon/MLX 的支持被描述为正在开发中。
• Docker： 官方 Docker 镜像可用于 Unsloth，Mac 兼容性仍在完善中。
• 局域网服务： 通过局域网提供服务时，流量留在你的网络内，无需联网即可工作；远程访问则通过指南中介绍的 Cloudflare 隧道。

价格套餐

Unsloth Pro 宣传训练快 2.5x、显存少用 20%、最多支持 8 块 GPU，Unsloth Enterprise 宣传训练快 30x、多节点支持和 30% 准确率，但两者都只显示 Contact us 按钮，因此都没有公开价格。Enterprise 还额外列出最多 +30% 准确率、推理快 5x、完整训练、全部 Pro 功能、多节点支持和客户支持。

套餐卡片的说法与文档不同。Free 卡片自称是 Unsloth 标准版的免费软件（freeware），标注开源，列出支持 Mistral、Gemma 和 Llama 1、2、3，并仍把 MultiGPU 列为即将推出（coming soon）。套餐差异表给 Free 档的评级是速度提升 2x、显存减少 60%，与文档中通用的速度快 2×、显存少用 70% 的数字不同。

许可也是这里“免费”含义的一部分。Unsloth 采用双许可模式：核心 Unsloth 包仍为 Apache 2.0，而 Unsloth Studio UI 等部分可选组件为 AGPL-3.0。公司称这种结构有助于支持持续开发，同时保持项目开源。

Unsloth 替代方案

2026 年一项对开源微调框架的独立对比，把 Unsloth 与另外三个项目放在一起，并为每个项目指定了不同的用途：

• Axolotl： 该对比把拥有两到八块 GPU、需要长上下文、全量微调或 RLHF 流水线的团队指向 Axolotl，并称 FSDP2 加序列并行是文档最完善的路径。
• LLaMA-Factory： 它是模型覆盖最广、面向非工程师操作者和首次运行最快的推荐选择，规模扩大时则转用其 CLI。
• TRL： 自定义训练循环、新型后训练算法以及与 Hugging Face 的紧密耦合都指向 TRL，它被描述为其他框架所封装的那一层。

这些选择并不互斥：LLaMA-Factory 可以把 Unsloth 作为后端运行，TRL 自带 Unsloth 集成，Axolotl 在内部调用 TRL 的 trainer。因此选择 LLaMA-Factory 或 TRL，底层仍可能在运行 Unsloth。

注意事项

成熟度与扩展

• 多 GPU 设置： Unsloth 自己的多 GPU 指南称该过程可能较复杂、需要手动设置，官方多 GPU 支持仍待公布。
• 独立观点： 2026 年一项独立对比的结论是，Unsloth 在单 GPU 速度和上下文长度上胜出，而多 GPU 仍是其有文档记载的弱点。
• 新架构： Unsloth 适用于 transformers 支持的任何模型，但由于其优化，部分较新的模型可能需要少量手动调整。

硬件与性能注意点

• 显存下限： 显存需求表给出的是绝对最低值，部分模型需要更多。对 8B 模型，表中列出 QLoRA（4-bit）需 6 GB，LoRA（16-bit）需 22 GB。
• 仅 CPU 的 Studio： 在仅有 CPU 的设备上，Studio 支持 GGUF 模型的 Chat 和 Data Recipes，Export 被描述为很快推出。
• 推理速度： 网页搜索、代码执行和工具调用修复会拖慢推理；关闭它们后，速度应与其他 llama.cpp 应用相当。
• 预热时间： 训练起初可能显得较慢，因为 torch.compile 通常需要约 5 分钟或更久来预热并完成编译。
• 导出的模型： 在 Unsloth 中正常的模型若在 Ollama、vLLM 或其他运行时中输出质量差、乱码或重复，最常见的原因是聊天模板不正确；训练时用的模板在那里也必须使用。

隐私、安全与许可

• 遥测： Unsloth Desktop 声明没有遥测；它会为兼容性检测你的 GPU 类型和设备，并可完全离线运行。
• Studio 访问控制： Unsloth Studio 可完全离线使用，采用基于令牌的身份验证，配合加密密码以及 JWT 访问与刷新流程。
• 工具权限： 权限控制意味着未经你批准，模型和 Unsloth 无法访问、修改或编辑你的文件，也无法使用互联网。
• 暴露的服务器： 服务器端工具（网页搜索、Python 和终端代码执行）以你的用户身份运行且默认开启，因此任何能用 API 密钥访问该服务器的人都能在这台机器上运行代码；文档将对外暴露与 --disable-tools 标志配套说明。
• 许可拆分： 仓库 LICENSE 将核心库、测试和脚本置于 Apache 2.0 之下，而可选安装的 Studio 和 CLI 文件夹采用 AGPLv3 许可（studio/* 和 unsloth_cli/*）。

FAQ

Q1. Unsloth 可以免费使用吗？

Unsloth Desktop 被描述为免费的开源应用，Free 套餐即标准版。Unsloth Pro 和 Unsloth Enterprise 也存在，但价格页显示的是 Contact us，而非价格。

Q2. 必须有 NVIDIA GPU 吗？

并非所有任务都需要。Chat 和 Data Recipes 可在 CPU 上运行，Studio 训练支持 NVIDIA、AMD、MLX 和 Intel 设备。在 Windows 上训练则把 NVIDIA GPU 列为必要条件。

Q3. Unsloth 能使用我已经下载的模型吗？

可以。已下载的模型会被自动找到；若未被检测到，可以指定自定义文件夹。

Q4. 在 Unsloth 中训练的模型能在 Ollama 或 LM Studio 中运行吗？

可以。Unsloth 可导出为 GGUF 或 safetensors，供 llama.cpp、Ollama、vLLM 和 LM Studio 等运行时使用，前提是聊天模板与训练时所用的一致。

Q5. Unsloth 适用哪种许可证？

核心包为 Apache 2.0，而 Unsloth Studio UI 等可选组件为 AGPL-3.0。