Unsloth

Unsloth, 어떤 도구인가요?

Unsloth는 LLM을 실행하고 학습하기 위한 오픈소스 프레임워크로, 오픈소스 UI를 통해 자신의 로컬 하드웨어에서 AI 모델을 실행하고 학습할 수 있게 해 줍니다. 텍스트, 비전, 확산 이미지와 동영상, 오디오, 임베딩 모델을 다루며 로컬 추론과 LLM 파인튜닝을 모두 지원합니다.

Unsloth는 세 가지 방식으로 설치할 수 있습니다. 네이티브 앱인 Unsloth Desktop, 브라우저 기반 웹 UI인 Unsloth Studio, 그리고 원래의 코드 기반 Python 패키지인 Unsloth Core입니다. Desktop과 Studio는 노코드 인터페이스이고, Core는 개발자가 자신의 학습 스크립트와 노트북에서 호출하는 라이브러리입니다.

Unsloth Desktop은 Beta로 표시되어 있으며, 자신의 하드웨어에서 AI 모델을 실행하고 학습하는 무료 오픈소스 앱으로 설명되고 macOS, Windows, Linux용으로 제공됩니다. Unsloth Studio 역시 Beta이며, 하나의 로컬 인터페이스에서 오픈 모델을 학습·실행·내보내기 하는 오픈소스 노코드 웹 UI로 자리매김합니다. 홈페이지는 Unsloth Desktop을 오픈소스, 무료, 100% 로컬이라는 세 단어로 소개합니다. 2024년의 한 비즈니스 매체 인물 기사는 회사 공동 창업자가 Michael과 Daniel Han 형제이며, 당시 Y Combinator에 참여하고 있었다고 보도했습니다.

핵심 기능

Unsloth의 대표 주장은 LLM, 확산, TTS, 임베딩 모델을 정확도 손실 없이 2× 빠르게, VRAM은 70% 적게 써서 학습한다는 것입니다. 이는 업체 자체 수치이며, 그 뒤의 테스트 조건은 아래에 정리했습니다.

학습 방법과 지원 모델

• 학습 방법: Unsloth는 강화 학습, LoRA, QLoRA, 전체 파인튜닝, 사전 학습, GRPO, DPO, FP8 학습을 지원합니다.
• 모델 범위: 회사는 500+개 모델의 추론과 학습을 지원한다고 말하며, 비전, TTS, 임베딩, RL 워크플로는 별도로 문서화되어 있습니다.
• 노코드 학습: Unsloth Desktop에서 PDF, CSV 또는 JSON 파일을 넣고 LoRA, 전체 파인튜닝 또는 사전 학습을 고르면 됩니다. 같은 페이지는 2x 빠르고 VRAM 70% 절감이라는 주장을 반복하며 멀티 GPU가 작동한다고 밝힙니다.
• 학습 관찰: Unsloth Studio는 학습 손실, 그래디언트 노름, GPU 사용률을 실시간으로 추적하며, 진행 화면은 휴대폰 같은 다른 기기에서도 열 수 있습니다.

속도 주장의 벤치마크 조건

공개된 학습 벤치마크는 H100과 Blackwell GPU에서 Alpaca 데이터셋, 배치 크기 2, 그래디언트 누적 단계 4, rank 32, 모든 선형 레이어에 QLoRA를 적용해 실행했습니다. Hugging Face + FA2 기준선과 비교해 표에는 Llama 3.3(70B)이 속도 2x, VRAM 75% 초과 절감, 13x 긴 컨텍스트로, Llama 3.1(8B)이 속도 2x, VRAM 70% 초과 절감, 12x 긴 컨텍스트로 나오며, 둘 다 80GB GPU 기준입니다.

Unsloth는 긴 컨텍스트 결과를 자체 그래디언트 체크포인팅 알고리즘과 Apple의 CCE 알고리즘 덕분으로 돌리고, 데이터가 많을수록 VRAM을 덜 쓴다고 말합니다. 이는 업체 벤치마크이며 독립적인 측정이 아닙니다.

모델 실행, 도구, 리서치

• 자가 복구 도구 호출: Unsloth는 실패를 감지·수정·재시도하는 도구 호출로 도구 호출 정확도가 최대 50% 높아지며, 모델이 안전한 환경에서 Bash와 Python을 실행할 수 있다고 말합니다.
• 웹 검색과 딥 리서치: 일반 웹 검색은 모델이 아직 생각하는 동안 실행되고, 딥 리서치는 먼저 계획을 세운 뒤 출처를 검색하고 인용이 포함된 상세 보고서를 작성합니다.
• 이미지·동영상 생성: Unsloth는 Qwen-Image-2.1, FLUX, Z-Image, LTX, Wan과 파인튜닝된 LoRA 어댑터로 생성합니다. 자체 예시에 따르면 NVIDIA B200에서 MiniMax-H3 FP8을 실행해 960×544, 124프레임, 8단계 생성을 70초 이상에서 13초로 줄였습니다.
• 신규 모델 출시: Unsloth는 출시 예정 모델을 포함해 거의 모든 모델을 실행하고 학습할 수 있다고 말하며, Qwen3.8, Gemma, Meta, NVIDIA, GLM 같은 계열에 Day Zero 지원을 약속하고 기반 작업의 공을 llama.cpp와 Hugging Face에 돌립니다.
• 모델 비교와 추론: Studio에서는 모델끼리 나란히 대결시킬 수 있고, llama.cpp 및 Hugging Face 백엔드가 멀티 GPU 추론, 자동 오프로딩, 피팅을 처리합니다.

내보내기, API, 제공업체

Unsloth Studio는 파인튜닝한 모델을 포함해 모델을 safetensors 또는 GGUF로 내보내 llama.cpp, vLLM, Ollama, LM Studio 등 다른 런타임에서 쓸 수 있게 합니다. Unsloth에서 학습한 모델을 다른 소프트웨어로 옮기는 것이 바로 이 내보내기 단계입니다.

반대 방향으로 Unsloth는 OpenAI 호환 API로 로컬 모델을 서빙하며, ChatGPT/Codex 구독과 클라우드 제공업체도 연결할 수 있습니다. unsloth run 명령은 모델을 서빙하고 컨텍스트 크기, GPU 레이어, 스레딩, 샘플링, 네트워킹, 도구 구성 같은 설정을 바꿉니다.

가이드

Unsloth Desktop 설치

1. 시스템에 맞는 설치 파일을 내려받습니다. macOS는 .dmg, Windows는 .exe, Linux는 .deb 파일입니다.
2. macOS에서는 .dmg 설치 파일을 열고 Unsloth를 Applications로 끌어다 놓은 뒤 앱을 실행해 설치가 끝날 때까지 기다립니다. Windows와 Linux는 설치 프로그램 안내를 따릅니다.
3. Select model 드롭다운이나 Model hub 탭을 열고 모델과 기기에 맞는 양자화를 골라 내려받은 뒤, 완료되면 채팅을 시작합니다.

Unsloth Studio 파인튜닝 워크플로

1. Unsloth를 실행하고 로컬 파일이나 지원되는 통합에서 모델을 불러옵니다.
2. PDF, CSV 또는 JSONL 파일에서 학습 데이터를 가져오거나 데이터셋을 처음부터 만듭니다.
3. Data Recipes에서 데이터셋을 정리하고 확장한 뒤, 권장 프리셋이나 사용자 지정 구성으로 학습합니다.
4. 학습된 모델과 채팅하고 기본 모델과 비교한 다음, 이미 쓰고 있는 스택으로 로컬에서 저장하거나 내보냅니다.

Studio는 프리셋에서 시작하는 대신 YAML 학습 구성을 가져와 관련 설정을 미리 채울 수도 있습니다.

원격 접속

기본적으로 unsloth studio는 127.0.0.1에 바인딩되므로 로컬 머신에서만 접근할 수 있습니다. --secure 옵션은 무료 Cloudflare HTTPS 링크로만 서비스하며, 터널을 열 수 없으면 아예 시작되지 않으므로 원시 포트가 노출되지 않습니다.

Unsloth 활용 사례

• 로컬 코딩 에이전트: Unsloth Start는 unsloth start 명령으로 Claude Code, Codex 등 에이전트를 로컬 모델에 연결해, 에이전트 워크플로가 자신의 GPU에 있는 모델로 실행되게 합니다.
• 문서를 학습 데이터로: Data Recipes는 NVIDIA NeMo Data Designer 기반의 그래프 노드 워크플로로 업로드한 PDF, CSV, JSON 파일을 사용 가능한 데이터셋이나 합성 데이터셋으로 바꿔, 파인튜닝 데이터셋을 자신의 문서에서 시작할 수 있게 합니다.
• 맞춤 이미지 스타일: Unsloth는 자신의 이미지로 SDXL, FLUX.2, Qwen-Image, Z-Image용 LoRA 어댑터를 학습하며, 캡션 작성과 rank 선택을 앱 안에서 처리하고 결과를 내보낸 뒤 다시 불러와 추론에 쓸 수 있습니다.
• 로컬 음성 워크플로: 앱은 오디오를 완전히 로컬에서 생성, 파인튜닝 또는 전사하며 텍스트 음성 변환, 음성 텍스트 변환, Whisper, Qwen3-ASR을 다룹니다.
• 로컬 GPU 없이 파인튜닝 체험: 무료 Google Colab 노트북이 Colab의 T4 GPU에서 Unsloth Studio를 실행하며, 22B 파라미터 이하 모델 대부분을 여기서 학습하고 실행해 본 뒤 더 큰 GPU로 옮길 수 있습니다.

누구를 위한 것인가

• GPU 한 장을 가진 개발자: 2026년의 한 독립 프레임워크 비교는 지원되는 아키텍처의 소비자용 GPU 한 장에서 LoRA 또는 QLoRA를 쓸 때 Unsloth를 권하며, 컨텍스트 길이 여유를 이유로 듭니다.
• 학습 없이 로컬 LLM 실행만 원하는 사람: UI는 파인튜닝을 전혀 요구하지 않으며, 어떤 GGUF나 모델이든 내려받아 그대로 쓸 수 있습니다.
• 전용 GPU가 없는 사용자: GPU가 없어도 Unsloth는 Chat과 Data Recipes에서 작동하므로, CPU만 있는 컴퓨터로도 모델과 채팅하고 데이터셋을 만들 수 있습니다.
• 고급 병렬화가 필요한 팀에는 덜 적합: 같은 비교는 텐서·컨텍스트·전문가 병렬화를 일급 구성으로 써야 할 때, 그리고 모델이 지원 목록에 없을 때 Unsloth가 제대로 작동하지 않는다고 말합니다. 이점이 아키텍처별 커널에서 나오기 때문입니다.

플랫폼

• 데스크톱 다운로드: Unsloth Desktop은 Mac(Apple Silicon 및 Intel)용 .dmg, Windows 10 이상용 .exe, Ubuntu 및 호환 Linux 배포판용 .deb로 제공됩니다.
• 운영체제와 칩: Unsloth는 Mac, Windows, Linux, WSL과 NVIDIA, Intel, AMD, Mac의 GPU 및 CPU를 지원하지만, 오래된 하드웨어는 잘 지원되지 않을 수 있습니다.
• Studio 학습 하드웨어: Unsloth Studio 학습은 현재 NVIDIA, AMD, MLX, Intel 기기에서 작동하며 Python 3.11–3.13이 필요합니다. Unsloth Core도 AMD와 Intel 기기에서 학습할 수 있습니다.
• Windows: Studio는 WSL 없이 Windows에서 실행되지만, 명시된 학습 요건은 Windows 10 또는 11(64비트)과 드라이버가 설치된 NVIDIA GPU입니다.
• NVIDIA의 Unsloth Core: Core에는 CUDA Capability 7.0 이상인 GPU가 필요하며 V100, T4, RTX 20 및 50 시리즈, A100, H100, L40 등이 해당합니다. GTX 1070과 1080은 작동하지만 느립니다.
• 기타 하드웨어의 Unsloth Core: AMD와 Intel GPU는 전용 가이드로 작동하며, Core의 Apple Silicon/MLX 지원은 준비 중이라고 설명됩니다.
• Docker: 공식 Docker 이미지가 Unsloth에서 작동하며, Mac 호환성은 아직 작업 중입니다.
• 로컬 네트워크 서빙: LAN으로 서빙하면 트래픽이 네트워크 안에 머물고 인터넷 연결 없이도 작동합니다. 원격 접속은 가이드에서 설명한 Cloudflare 터널을 거칩니다.

가격

Unsloth Pro는 2.5x 빠른 학습, 20% 적은 VRAM, 최대 8개 GPU 지원을, Unsloth Enterprise는 30x 빠른 학습, 멀티 노드 지원, 30% 정확도를 내세우지만, 둘 다 Contact us 버튼만 보여 공개 가격이 표시되지 않습니다. Enterprise는 여기에 최대 +30% 정확도, 5x 빠른 추론, 전체 학습, 모든 Pro 기능, 멀티 노드 지원, 고객 지원을 추가로 나열합니다.

플랜 카드는 문서와 다르게 적혀 있습니다. Free 카드는 스스로를 Unsloth 표준 버전의 프리웨어로 설명하고 오픈소스로 표시하며, Mistral, Gemma, Llama 1, 2, 3 지원을 명시하고 MultiGPU는 여전히 출시 예정(coming soon)으로 둡니다. 플랜 비교표는 Free 등급을 속도 향상 2x, VRAM 절감 60%로 평가하는데, 이는 문서 전반에서 쓰는 2× 빠르고 VRAM 70% 절감이라는 수치와 다릅니다.

라이선스도 여기서 말하는 '무료'의 일부입니다. Unsloth는 이중 라이선스 모델을 써서 핵심 Unsloth 패키지는 Apache 2.0으로 유지하고, Unsloth Studio UI 같은 일부 선택형 구성 요소는 AGPL-3.0으로 둡니다. 회사는 이 구조가 프로젝트를 오픈소스로 유지하면서 지속적인 개발을 뒷받침하는 데 도움이 된다고 말합니다.

Unsloth 대안

2026년 오픈소스 파인튜닝 프레임워크를 비교한 한 독립 분석은 Unsloth를 다른 세 프로젝트와 견주며 각각에 다른 역할을 부여합니다.

• Axolotl: 이 비교는 GPU 2~8장, 긴 컨텍스트, 전체 파인튜닝 또는 RLHF 파이프라인이 필요한 팀에 Axolotl을 권하며, FSDP2와 시퀀스 병렬화 조합을 가장 잘 문서화된 경로로 꼽습니다.
• LLaMA-Factory: 가장 넓은 모델 지원, 비엔지니어 운영자, 가장 빠른 첫 실행을 원할 때 권장되는 선택이며, 규모를 키울 때는 CLI로 옮겨 갑니다.
• TRL: 맞춤 학습 루프, 새로운 사후 학습 알고리즘, Hugging Face와의 긴밀한 결합이 필요하면 TRL이 맞으며, TRL은 다른 프레임워크가 감싸는 계층으로 설명됩니다.

이 선택지들은 서로 배타적이지 않습니다. LLaMA-Factory는 Unsloth를 백엔드로 실행할 수 있고, TRL은 Unsloth 통합을 제공하며, Axolotl은 내부적으로 TRL 트레이너를 호출합니다. 따라서 LLaMA-Factory나 TRL을 골라도 그 아래에서는 여전히 Unsloth가 돌아갈 수 있습니다.

제한 사항

성숙도와 확장

• 멀티 GPU 설정: Unsloth 자체 멀티 GPU 가이드는 과정이 복잡할 수 있고 수동 설정이 필요하며, 공식 멀티 GPU 지원은 아직 발표 예정이라고 말합니다.
• 독립적 시각: 2026년의 한 독립 비교는 Unsloth가 단일 GPU 속도와 컨텍스트 길이에서 앞서지만 멀티 GPU는 여전히 문서화된 약점이라고 결론짓습니다.
• 새 아키텍처: Unsloth는 transformers가 지원하는 모든 모델에서 작동하지만, 최적화 때문에 일부 최신 모델은 약간의 수동 조정이 필요할 수 있습니다.

하드웨어와 성능 관련 주의점

• VRAM 하한: VRAM 요구 사항 표는 절대 최솟값이며, 일부 모델은 더 필요합니다. 8B 모델의 경우 QLoRA(4-bit)는 6 GB, LoRA(16-bit)는 22 GB로 나와 있습니다.
• CPU 전용 Studio: CPU만 있는 기기에서 Studio는 GGUF 모델용 Chat과 Data Recipes를 지원하며, Export는 곧 제공될 예정이라고 설명됩니다.
• 추론 속도: 웹 검색, 코드 실행, 도구 호출 복구는 추론을 느리게 합니다. 이를 끄면 속도는 다른 llama.cpp 앱과 비슷해야 합니다.
• 워밍업 시간: torch.compile이 워밍업하고 컴파일을 마치는 데 보통 5분 정도 또는 그 이상 걸리므로 처음에는 학습이 느려 보일 수 있습니다.
• 내보낸 모델: Unsloth에서 잘 작동하던 모델이 Ollama, vLLM 또는 다른 런타임에서 품질 낮은 출력, 깨진 문자열, 반복 출력을 내면 가장 흔한 원인은 잘못된 채팅 템플릿입니다. 학습에 쓴 템플릿을 그곳에서도 써야 합니다.

개인정보, 보안, 라이선스

• 텔레메트리: Unsloth Desktop은 텔레메트리가 없다고 밝히며, 호환성을 위해 GPU 종류와 기기를 감지하고 완전히 오프라인으로 실행할 수 있습니다.
• Studio 접근 제어: Unsloth Studio는 완전히 오프라인으로 쓸 수 있으며, 암호화된 비밀번호와 JWT 액세스 및 리프레시 흐름을 갖춘 토큰 기반 인증을 사용합니다.
• 도구 권한: 권한 제어로 인해 모델과 Unsloth는 사용자의 승인 없이 파일에 접근하거나 수정·편집할 수 없고 인터넷도 사용할 수 없습니다.
• 노출된 서버: 서버 측 도구(웹 검색, Python 및 터미널 코드 실행)는 사용자 권한으로 실행되고 기본으로 켜져 있어, API 키로 서버에 접근할 수 있는 사람은 누구나 해당 머신에서 코드를 실행할 수 있습니다. 문서는 외부 노출을 --disable-tools 플래그와 함께 다룹니다.
• 라이선스 분리: 저장소 LICENSE는 핵심 라이브러리, 테스트, 스크립트를 Apache 2.0으로 두고, 선택 설치형 Studio 및 CLI 폴더는 AGPLv3 라이선스(studio/* 및 unsloth_cli/*)로 둡니다.

FAQ

Q1. Unsloth는 무료로 쓸 수 있나요?

Unsloth Desktop은 무료 오픈소스 앱으로 설명되며, Free 플랜이 표준 버전입니다. Unsloth Pro와 Unsloth Enterprise도 있지만 가격 페이지에는 가격 대신 Contact us가 표시됩니다.

Q2. NVIDIA GPU가 꼭 필요한가요?

모든 작업에 필요한 것은 아닙니다. Chat과 Data Recipes는 CPU에서 작동하고, Studio 학습은 NVIDIA, AMD, MLX, Intel 기기를 지원합니다. Windows에서의 학습은 NVIDIA GPU를 요건으로 명시합니다.

Q3. 이미 내려받은 모델을 Unsloth에서 쓸 수 있나요?

네. 이미 내려받은 모델은 자동으로 찾아지며, 감지되지 않으면 사용자 지정 폴더를 지정할 수 있습니다.

Q4. Unsloth에서 학습한 모델을 Ollama나 LM Studio에서 실행할 수 있나요?

네. Unsloth는 GGUF 또는 safetensors로 내보내 llama.cpp, Ollama, vLLM, LM Studio 등의 런타임에서 쓸 수 있게 하며, 단 채팅 템플릿이 학습에 쓴 것과 일치해야 합니다.

Q5. Unsloth에는 어떤 라이선스가 적용되나요?

핵심 패키지는 Apache 2.0이고, Unsloth Studio UI 같은 선택형 구성 요소는 AGPL-3.0입니다.