Unsloth

Unsloth 是什麼？

Unsloth 是用來執行和訓練 LLM 的開源框架，可透過開源 UI 在你自己的本機硬體上執行和訓練 AI 模型。它涵蓋文字、視覺、擴散圖像與影片、音訊和嵌入模型，既支援本機推論，也支援 LLM 微調。

Unsloth 有三種不同的安裝方式：原生應用程式 Unsloth Desktop、以瀏覽器為基礎的 Web UI Unsloth Studio，以及最初以程式碼操作的 Python 套件 Unsloth Core。Desktop 和 Studio 是無程式碼介面；Core 則是開發者在自己的訓練腳本和 notebook 中呼叫的函式庫。

Unsloth Desktop 標示為 Beta，被描述為在自有硬體上執行和訓練 AI 模型的免費開源應用程式，提供 macOS、Windows 和 Linux 版本。Unsloth Studio 同樣處於 Beta，定位為在單一本機介面中訓練、執行和匯出開放模型的開源無程式碼 Web UI。官網首頁用三個詞概括 Unsloth Desktop：開源、免費、100% 本機。一篇 2024 年的商業媒體人物報導指出，公司共同創辦人是 Michael 和 Daniel Han 兄弟，兩人當時正在參加 Y Combinator。

核心功能

Unsloth 的主打說法是：訓練 LLM、擴散、TTS 和嵌入模型時速度快 2×、VRAM 少用 70%，且不損失準確度。這是廠商自己的數字，背後的測試條件見下文。

訓練方法與模型涵蓋範圍

• 訓練方法： Unsloth 支援強化學習、LoRA、QLoRA、完整微調、預訓練、GRPO、DPO 和 FP8 訓練。
• 模型範圍： 公司表示支援 500+ 個模型的推論和訓練，視覺、TTS、嵌入和 RL 工作流程另有獨立文件。
• 無程式碼訓練： 在 Unsloth Desktop 中拖入 PDF、CSV 或 JSON 檔案，再選擇 LoRA、完整微調或預訓練；同一頁面重複了速度快 2x、VRAM 少用 70% 的說法，並表示多 GPU 可用。
• 訓練可觀測性： Unsloth Studio 即時追蹤訓練損失、梯度範數和 GPU 使用率，進度畫面也能在手機等其他裝置上開啟。

速度說法背後的基準測試條件

公開的訓練基準測試在 H100 和 Blackwell GPU 上執行，使用 Alpaca 資料集，batch size 為 2、梯度累積步數為 4、rank 為 32，並對所有線性層使用 QLoRA。以 Hugging Face + FA2 為基準線，表格列出：Llama 3.3（70B）速度 2x、VRAM 減少超過 75%、上下文長 13 倍；Llama 3.1（8B）速度 2x、VRAM 減少超過 70%、上下文長 12 倍，兩者都以 80GB GPU 測得。

Unsloth 將長上下文結果歸功於自家的梯度檢查點演算法加上 Apple 的 CCE 演算法，並表示資料越多，VRAM 用量越少。這些是廠商基準測試，不是獨立量測。

執行模型、工具與研究

• 自我修復的工具呼叫： Unsloth 表示，能偵測、修復並重試失敗的工具呼叫可讓工具呼叫準確度最多提高 50%，模型也能在安全環境中執行 Bash 和 Python。
• 網頁搜尋與深度研究： 一般網頁搜尋在模型仍在思考時執行；深度研究會先規劃，再搜尋來源，然後撰寫附引用的詳細報告。
• 圖像與影片生成： Unsloth 可使用 Qwen-Image-2.1、FLUX、Z-Image、LTX、Wan 以及微調後的 LoRA 轉接器生成內容。其自家範例指出，在 NVIDIA B200 上執行 MiniMax-H3 FP8，把一次 960×544、124 幀、8 步的生成從 70 秒以上縮短到 13 秒。
• 新模型發布： Unsloth 表示能執行和訓練幾乎所有模型，包括即將推出的模型，並承諾為 Qwen3.8、Gemma、Meta、NVIDIA 和 GLM 等系列提供 Day Zero 支援，同時把基礎工作歸功於 llama.cpp 和 Hugging Face。
• 模型比較與推論： Studio 可讓模型並排對戰，其 llama.cpp 和 Hugging Face 後端負責多 GPU 推論、自動卸載（offloading）和適配（fitting）。

匯出、API 與服務供應商

Unsloth Studio 可把模型（包括微調後的模型）匯出為 safetensors 或 GGUF，供 llama.cpp、vLLM、Ollama、LM Studio 及其他執行環境使用。正是這個匯出步驟，把在 Unsloth 中訓練的模型帶進其他軟體。

反方向上，Unsloth 透過相容 OpenAI 的 API 提供本機模型服務，也能連接 ChatGPT/Codex 訂閱和雲端服務供應商。unsloth run 指令可啟動模型服務，並調整上下文大小、GPU 層數、執行緒、取樣、網路和工具設定等選項。

使用指南

安裝 Unsloth Desktop

1. 下載適合你系統的安裝程式：macOS 為 .dmg 檔，Windows 為 .exe，Linux 為 .deb。
2. 在 macOS 上開啟 .dmg 安裝程式，把 Unsloth 拖到 Applications，然後啟動應用程式並等待安裝完成；Windows 和 Linux 依安裝程式提示操作。
3. 開啟 Select model 下拉選單或 Model hub 分頁，選擇模型和適合你裝置的量化版本，下載完成後即可開始聊天。

在 Unsloth Studio 中微調

1. 啟動 Unsloth，從本機檔案或支援的整合載入模型。
2. 從 PDF、CSV 或 JSONL 檔案匯入訓練資料，或從頭建立資料集。
3. 在 Data Recipes 中清理並擴充資料集，然後使用建議預設或自訂設定進行訓練。
4. 與訓練好的模型聊天，將它與基礎模型比較，然後在本機儲存或匯出到你已在使用的技術堆疊。

Studio 也能匯入 YAML 訓練設定並預先填入相關設定，而不必從預設開始。

遠端存取

預設情況下，unsloth studio 綁定 127.0.0.1，因此只有本機能存取。--secure 選項只透過免費的 Cloudflare HTTPS 連結提供服務，通道無法建立時根本不會啟動，因此原始連接埠永遠不會暴露。

Unsloth 使用情境

• 本機程式設計代理： Unsloth Start 透過 unsloth start 指令把 Claude Code、Codex 等代理連接到本機模型，讓代理工作流程能使用你自己 GPU 上的模型執行。
• 把文件變成訓練資料： Data Recipes 透過由 NVIDIA NeMo Data Designer 驅動的圖形節點工作流程，把上傳的 PDF、CSV 和 JSON 檔案轉換為可用資料集或合成資料集，讓微調資料集能從你自己的文件起步。
• 自訂圖像風格： Unsloth 可用你自己的圖片為 SDXL、FLUX.2、Qwen-Image 和 Z-Image 訓練 LoRA 轉接器，圖片說明標註和 rank 選擇都在應用程式內完成，結果可匯出並重新載入用於推論。
• 本機語音工作流程： 該應用程式可完全在本機生成、微調或轉錄音訊，涵蓋文字轉語音、語音轉文字、Whisper 和 Qwen3-ASR。
• 沒有本機 GPU 也能試微調： 免費的 Google Colab notebook 可在 Colab 的 T4 GPU 上執行 Unsloth Studio，多數 22B 參數以內的模型都能在其中訓練和執行，之後再換到更大的 GPU。

適用人群

• 只有一張 GPU 的開發者： 2026 年一項獨立的框架比較建議，在單張消費級 GPU、架構受支援並使用 LoRA 或 QLoRA 時選用 Unsloth，理由是它的上下文長度餘裕。
• 想在本機執行 LLM 但不訓練的人： UI 完全不要求微調；你可以下載任何 GGUF 或模型並直接使用。
• 沒有獨立 GPU 的使用者： 沒有 GPU 時 Unsloth 仍可用於 Chat 和 Data Recipes，因此只有 CPU 的電腦也能與模型聊天並建立資料集。
• 需要進階平行化的團隊較不適合： 同一份比較指出，當張量、上下文或專家平行化需要作為一級設定，或模型不在其支援清單上時，Unsloth 就會失效，因為它的效益來自針對特定架構的核心（kernel）。

支援平台

• 桌面版下載： Unsloth Desktop 提供 Mac（Apple Silicon 和 Intel）的 .dmg、Windows 10 及以上版本的 .exe，以及 Ubuntu 和相容 Linux 發行版的 .deb。
• 作業系統與晶片： Unsloth 支援 Mac、Windows、Linux 和 WSL，以及 NVIDIA、Intel、AMD 和 Mac 的 GPU 與 CPU，但較舊的硬體可能支援不佳。
• Studio 訓練硬體： Unsloth Studio 訓練目前可在 NVIDIA、AMD、MLX 和 Intel 裝置上執行，需要 Python 3.11–3.13；Unsloth Core 也能在 AMD 和 Intel 裝置上訓練。
• Windows： Studio 不需 WSL 即可在 Windows 上執行，但列出的訓練需求是 Windows 10 或 11（64 位元）以及已安裝驅動程式的 NVIDIA GPU。
• NVIDIA 上的 Unsloth Core： Core 需要 CUDA 運算能力 7.0 或更高的 GPU，如 V100、T4、RTX 20 和 50 系列、A100、H100 或 L40；GTX 1070 和 1080 可用但較慢。
• 其他硬體上的 Unsloth Core： AMD 和 Intel GPU 透過專屬指南支援，而 Core 對 Apple Silicon/MLX 的支援被描述為開發中。
• Docker： 官方 Docker 映像檔可用於 Unsloth，Mac 相容性仍在處理中。
• 區域網路服務： 透過區域網路提供服務時，流量留在你的網路內，不需連網即可運作；遠端存取則透過指南中介紹的 Cloudflare 通道。

價格套餐

Unsloth Pro 宣傳訓練快 2.5x、VRAM 少用 20%、最多支援 8 張 GPU，Unsloth Enterprise 宣傳訓練快 30x、多節點支援和 30% 準確度，但兩者都只顯示 Contact us 按鈕，因此都沒有公開價格。Enterprise 另外列出最多 +30% 準確度、推論快 5x、完整訓練、所有 Pro 功能、多節點支援和客戶支援。

方案卡片的說法與文件不同。Free 卡片自稱是 Unsloth 標準版的免費軟體（freeware），標示開源，列出支援 Mistral、Gemma 和 Llama 1、2、3，並仍把 MultiGPU 列為即將推出（coming soon）。方案差異表給 Free 方案的評等是速度提升 2x、VRAM 減少 60%，與文件中通用的速度快 2×、VRAM 少用 70% 的數字不同。

授權也是這裡「免費」含義的一部分。Unsloth 採用雙重授權模式：核心 Unsloth 套件仍為 Apache 2.0，而 Unsloth Studio UI 等部分選用元件為 AGPL-3.0。公司表示，這種結構有助於支持持續開發，同時讓專案維持開源。

Unsloth 替代方案

2026 年一項針對開源微調框架的獨立比較，把 Unsloth 與另外三個專案放在一起，並為每個專案指派不同的用途：

• Axolotl： 該比較把擁有兩到八張 GPU、需要長上下文、完整微調或 RLHF 管線的團隊導向 Axolotl，並稱 FSDP2 加序列平行化是文件最完整的路徑。
• LLaMA-Factory： 它是模型涵蓋最廣、適合非工程師操作者和首次執行最快的建議選擇，規模擴大時則改用其 CLI。
• TRL： 自訂訓練迴圈、新型後訓練演算法以及與 Hugging Face 的緊密耦合都指向 TRL，它被描述為其他框架所包裝的那一層。

這些選擇並不互斥：LLaMA-Factory 可以把 Unsloth 當作後端執行，TRL 內建 Unsloth 整合，Axolotl 則在內部呼叫 TRL 的 trainer。因此選擇 LLaMA-Factory 或 TRL，底層仍可能在執行 Unsloth。

注意事項

成熟度與擴展

• 多 GPU 設定： Unsloth 自家的多 GPU 指南表示，這個過程可能較複雜、需要手動設定，官方多 GPU 支援仍待公布。
• 獨立觀點： 2026 年一項獨立比較的結論是，Unsloth 在單 GPU 速度和上下文長度上勝出，而多 GPU 仍是其有文件記載的弱點。
• 新架構： Unsloth 適用於 transformers 支援的任何模型，但由於它的最佳化，部分較新的模型可能需要少量手動調整。

硬體與效能注意點

• VRAM 下限： VRAM 需求表列的是絕對最低值，部分模型需要更多。以 8B 模型為例，表中列出 QLoRA（4-bit）需 6 GB，LoRA（16-bit）需 22 GB。
• 僅 CPU 的 Studio： 在只有 CPU 的裝置上，Studio 支援 GGUF 模型的 Chat 和 Data Recipes，Export 被描述為很快推出。
• 推論速度： 網頁搜尋、程式碼執行和工具呼叫修復會拖慢推論；關閉後，速度應與其他 llama.cpp 應用程式相當。
• 暖機時間： 訓練起初可能顯得較慢，因為 torch.compile 通常需要約 5 分鐘或更久來暖機並完成編譯。
• 匯出的模型： 在 Unsloth 中正常的模型若在 Ollama、vLLM 或其他執行環境中輸出品質差、亂碼或重複，最常見的原因是聊天範本不正確；訓練時用的範本在那裡也必須使用。

隱私、安全與授權

• 遙測： Unsloth Desktop 聲明沒有遙測；它會為了相容性偵測你的 GPU 類型和裝置，並可完全離線執行。
• Studio 存取控制： Unsloth Studio 可完全離線使用，採用以權杖為基礎的身分驗證，搭配加密密碼以及 JWT 存取與更新流程。
• 工具權限： 權限控制代表未經你核准，模型和 Unsloth 無法存取、修改或編輯你的檔案，也無法使用網際網路。
• 暴露的伺服器： 伺服器端工具（網頁搜尋、Python 和終端機程式碼執行）以你的使用者身分執行且預設開啟，因此任何能用 API 金鑰連上伺服器的人都能在這台機器上執行程式碼；文件將對外暴露與 --disable-tools 旗標配套說明。
• 授權拆分： 儲存庫的 LICENSE 將核心函式庫、測試和腳本置於 Apache 2.0 之下，而選擇性安裝的 Studio 和 CLI 資料夾採用 AGPLv3 授權（studio/* 和 unsloth_cli/*）。

FAQ

Q1. Unsloth 可以免費使用嗎？

Unsloth Desktop 被描述為免費的開源應用程式，Free 方案即標準版。Unsloth Pro 和 Unsloth Enterprise 也存在，但價格頁顯示的是 Contact us，而非價格。

Q2. 一定要有 NVIDIA GPU 嗎？

並非所有任務都需要。Chat 和 Data Recipes 可在 CPU 上執行，Studio 訓練支援 NVIDIA、AMD、MLX 和 Intel 裝置。在 Windows 上訓練則把 NVIDIA GPU 列為必要條件。

Q3. Unsloth 能使用我已經下載的模型嗎？

可以。已下載的模型會被自動找到；若未被偵測到，可以指定自訂資料夾。

Q4. 在 Unsloth 中訓練的模型能在 Ollama 或 LM Studio 中執行嗎？

可以。Unsloth 可匯出為 GGUF 或 safetensors，供 llama.cpp、Ollama、vLLM 和 LM Studio 等執行環境使用，前提是聊天範本與訓練時所用的一致。

Q5. Unsloth 適用哪種授權？

核心套件為 Apache 2.0，而 Unsloth Studio UI 等選用元件為 AGPL-3.0。