Unsloth

O que é Unsloth?

Unsloth é um framework de código aberto para rodar e treinar LLMs que permite rodar e treinar modelos de IA no seu próprio hardware local por meio de uma interface de código aberto. Ele cobre modelos de texto, visão, difusão de imagem e vídeo, áudio e embeddings, tanto para inferência local quanto para o ajuste fino de LLM.

O Unsloth pode ser instalado de três formas distintas: Unsloth Desktop como app nativo, Unsloth Studio como interface web no navegador ou Unsloth Core como o pacote Python original baseado em código. Desktop e Studio são as interfaces sem código; Core é a biblioteca que desenvolvedores chamam a partir dos próprios scripts de treino e notebooks.

O Unsloth Desktop é marcado como Beta e descrito como um app gratuito e de código aberto para rodar e treinar modelos de IA no seu próprio hardware, disponível para macOS, Windows e Linux. O Unsloth Studio também está em Beta e é posicionado como uma interface web sem código e de código aberto para treinar, rodar e exportar modelos abertos em uma única interface local. A página inicial resume o Unsloth Desktop em três palavras: código aberto, gratuito e 100% local. Um perfil de 2024 na imprensa de negócios relatou que os cofundadores da empresa são os irmãos Michael e Daniel Han, que na época participavam da Y Combinator.

Principais funcionalidades

A principal alegação do Unsloth é que ele treina modelos LLM, de difusão, TTS e de embeddings 2× mais rápido, com 70% menos VRAM e sem perda de precisão. Esse é o número do próprio fornecedor; as condições de teste por trás dele estão descritas abaixo.

Métodos de treino e modelos cobertos

• Métodos de treino: o Unsloth suporta aprendizado por reforço, LoRA, QLoRA, ajuste fino completo, pré-treino, GRPO, DPO e treino em FP8.
• Variedade de modelos: a empresa diz suportar inferência e treino para mais de 500 modelos, com fluxos de visão, TTS, embeddings e RL documentados separadamente.
• Treino sem código: no Unsloth Desktop, você solta um arquivo PDF, CSV ou JSON e escolhe LoRA, ajuste fino completo ou pré-treino; a mesma página repete a alegação de 2x mais rápido e 70% menos VRAM e afirma que multi-GPU funciona.
• Acompanhamento do treino: o Unsloth Studio acompanha em tempo real a perda de treino, as normas de gradiente e o uso de GPU, e a tela de progresso pode ser aberta em outros dispositivos, como um celular.

Condições dos benchmarks por trás da alegação de velocidade

Os benchmarks de treino publicados rodaram em GPUs H100 e Blackwell com o dataset Alpaca, batch size 2, 4 passos de acumulação de gradiente, rank 32 e QLoRA em todas as camadas lineares. Contra uma linha de base Hugging Face + FA2, a tabela lista para Llama 3.3 (70B) velocidade 2x, mais de 75% de redução de VRAM e contexto 13x maior, e para Llama 3.1 (8B) velocidade 2x, mais de 70% de redução de VRAM e contexto 12x maior, ambos em GPUs de 80 GB.

O Unsloth atribui seus resultados de contexto longo ao seu algoritmo de gradient checkpointing somado ao algoritmo CCE da Apple, e diz que quanto mais dados, menos VRAM ele usa. São benchmarks do fornecedor, não medições independentes.

Execução de modelos, ferramentas e pesquisa

• Chamadas de ferramenta autocorretivas: segundo o Unsloth, chamadas de ferramenta que detectam, corrigem e repetem falhas tornam as chamadas de ferramenta até 50% mais precisas, e os modelos podem executar Bash e Python em um ambiente seguro.
• Busca na web e pesquisa aprofundada: a busca na web normal roda enquanto o modelo ainda está pensando, e a pesquisa aprofundada primeiro planeja, busca fontes e depois escreve um relatório detalhado com citações.
• Geração de imagem e vídeo: o Unsloth gera com Qwen-Image-2.1, FLUX, Z-Image, LTX, Wan e adaptadores LoRA ajustados. Segundo o próprio exemplo, uma execução do MiniMax-H3 FP8 em uma NVIDIA B200 reduziu uma geração de 960×544, 124 quadros e 8 passos de mais de 70 segundos para 13 segundos.
• Novos modelos: o Unsloth diz que pode rodar e treinar quase qualquer modelo, inclusive os que ainda vão sair, e promete suporte Day Zero para famílias como Qwen3.8, Gemma, Meta, NVIDIA e GLM, creditando a llama.cpp e a Hugging Face pelo trabalho de base.
• Comparação de modelos e inferência: o Studio pode colocar modelos para disputar lado a lado, e seus backends llama.cpp e Hugging Face cuidam de inferência multi-GPU, descarregamento (offloading) automático e ajuste (fitting).

Exportação, API e provedores

O Unsloth Studio exporta modelos, inclusive ajustados, para safetensors ou GGUF para uso com llama.cpp, vLLM, Ollama, LM Studio e outros runtimes. É essa etapa de exportação que leva um modelo treinado no Unsloth para outros softwares.

No sentido inverso, o Unsloth serve modelos locais por uma API compatível com OpenAI e também pode conectar uma assinatura ChatGPT/Codex e provedores de nuvem. O comando unsloth run serve um modelo e altera configurações como tamanho de contexto, camadas de GPU, threads, amostragem, rede e configuração de ferramentas.

Guia

Instalar o Unsloth Desktop

1. Baixe o instalador do seu sistema: um arquivo .dmg no macOS, um .exe no Windows ou um .deb no Linux.
2. No macOS, abra o instalador .dmg, arraste o Unsloth para Applications, depois abra o app e aguarde o fim da instalação; no Windows e no Linux, siga as instruções do instalador.
3. Abra o menu suspenso Select model ou a aba Model hub, escolha um modelo e uma quantização adequada ao seu dispositivo, baixe e comece a conversar quando terminar.

Fluxo de ajuste fino no Unsloth Studio

1. Abra o Unsloth e carregue um modelo de arquivos locais ou de uma integração suportada.
2. Importe dados de treino de arquivos PDF, CSV ou JSONL, ou crie um dataset do zero.
3. Limpe e expanda o dataset no Data Recipes e depois treine com predefinições recomendadas ou uma configuração personalizada.
4. Converse com o modelo treinado, compare-o com o modelo base e depois salve ou exporte localmente para o stack que você já usa.

O Studio também pode importar uma configuração de treino em YAML e preencher previamente as configurações relevantes, em vez de começar pelas predefinições.

Acesso remoto

Por padrão, unsloth studio se vincula a 127.0.0.1, então só a máquina local consegue acessá-lo. A opção --secure o serve apenas por um link HTTPS gratuito da Cloudflare e nem chega a iniciar se o túnel não puder subir, de modo que a porta bruta nunca fica exposta.

Casos de uso do Unsloth

• Agentes de código locais: o Unsloth Start conecta Claude Code, Codex e outros agentes a modelos locais pelo comando unsloth start, para que um fluxo de agente rode com um modelo na sua própria GPU.
• Transformar documentos em dados de treino: o Data Recipes converte PDFs, CSV e JSON enviados em datasets utilizáveis ou sintéticos por meio de um fluxo de nós em grafo baseado no NVIDIA NeMo Data Designer, para que um dataset de ajuste fino possa partir dos seus próprios documentos.
• Estilos de imagem próprios: o Unsloth treina adaptadores LoRA para SDXL, FLUX.2, Qwen-Image e Z-Image com suas próprias imagens, com legendagem (captioning) e escolha de rank feitas no app, e o resultado pode ser exportado e recarregado para inferência.
• Fluxos de voz locais: o app gera, faz ajuste fino ou transcreve áudio de forma totalmente local, cobrindo texto para fala, fala para texto, Whisper e Qwen3-ASR.
• Testar ajuste fino sem GPU local: um notebook gratuito do Google Colab roda o Unsloth Studio nas GPUs T4 do Colab, onde a maioria dos modelos de até 22B parâmetros pode ser treinada e executada antes de passar para uma GPU maior.

Para Quem É

• Desenvolvedores com uma GPU: uma comparação independente de frameworks de 2026 recomenda o Unsloth para uma única GPU de consumo com arquitetura suportada e LoRA ou QLoRA, citando sua folga em comprimento de contexto.
• Quem quer rodar LLM localmente sem treinar: a interface não exige ajuste fino algum; você pode baixar qualquer GGUF ou modelo e usá-lo como está.
• Usuários sem GPU dedicada: sem GPU, o Unsloth continua funcionando para Chat e Data Recipes, então uma máquina só com CPU ainda pode conversar com modelos e montar datasets.
• Menos indicado para equipes que precisam de paralelismo avançado: a mesma comparação diz que o Unsloth quebra quando paralelismo de tensor, de contexto ou de especialistas é necessário como configuração de primeira classe, e quando um modelo não está na sua lista de suportados, porque seus ganhos vêm de kernels específicos de cada arquitetura.

Plataformas

• Downloads para desktop: o Unsloth Desktop é oferecido como .dmg para Mac (Apple Silicon e Intel), .exe para Windows 10 ou posterior e .deb para Ubuntu e distribuições Linux compatíveis.
• Sistemas operacionais e chips: o Unsloth suporta Mac, Windows, Linux e WSL, além de GPUs e CPUs NVIDIA, Intel, AMD e Mac, embora hardware mais antigo possa não ser bem suportado.
• Hardware de treino do Studio: o treino no Unsloth Studio funciona atualmente em dispositivos NVIDIA, AMD, MLX e Intel e exige Python 3.11–3.13; o Unsloth Core também pode treinar em dispositivos AMD e Intel.
• Windows: o Studio roda no Windows sem WSL, mas os requisitos de treino listados são Windows 10 ou 11 (64 bits) e uma GPU NVIDIA com drivers instalados.
• Unsloth Core na NVIDIA: o Core precisa de uma GPU com CUDA Capability 7.0 ou superior, como V100, T4, séries RTX 20 e 50, A100, H100 ou L40; as GTX 1070 e 1080 funcionam, mas são lentas.
• Unsloth Core em outro hardware: GPUs AMD e Intel funcionam por meio de guias dedicados, enquanto o suporte a Apple Silicon/MLX no Core é descrito como em desenvolvimento.
• Docker: uma imagem Docker oficial funciona para o Unsloth, e a compatibilidade com Mac ainda está em andamento.
• Servir na rede local: servir via LAN mantém o tráfego dentro da sua rede e funciona sem conexão com a internet; o acesso remoto passa pelo túnel da Cloudflare descrito no guia.

Preços

O Unsloth Pro é apresentado com treino 2,5x mais rápido, 20% menos VRAM e suporte a até 8 GPUs, e o Unsloth Enterprise com treino 30x mais rápido, suporte multinó e 30% de precisão, mas ambos mostram só um botão Contact us, então nenhum dos dois tem preço público. O Enterprise lista ainda até +30% de precisão, inferência 5x mais rápida, treino completo, todos os recursos do Pro, suporte multinó e suporte ao cliente.

Os cards dos planos dizem coisas diferentes da documentação. O card Free se descreve como freeware da versão padrão do Unsloth, marca-a como código aberto, cita suporte a Mistral, Gemma e Llama 1, 2, 3 e ainda lista MultiGPU como em breve (coming soon). A tabela de diferenças entre planos atribui ao nível Free ganho de velocidade de 2x e redução de VRAM de 60%, o que difere do número de 2× mais rápido e 70% menos VRAM usado em toda a documentação.

A licença faz parte do que "gratuito" significa aqui. O Unsloth usa um modelo de licença dupla: o pacote principal do Unsloth continua sob Apache 2.0, enquanto certos componentes opcionais, como a Unsloth Studio UI, estão sob AGPL-3.0. A empresa diz que essa estrutura ajuda a sustentar o desenvolvimento contínuo mantendo o projeto em código aberto.

Alternativas ao Unsloth

Uma comparação independente de 2026 entre frameworks de ajuste fino de código aberto coloca o Unsloth ao lado de outros três projetos e atribui a cada um uma função diferente:

• Axolotl: a comparação direciona ao Axolotl equipes com duas a oito GPUs, contexto longo, ajuste fino completo ou pipelines de RLHF, e aponta FSDP2 mais paralelismo de sequência como o caminho mais bem documentado.
• LLaMA-Factory: é a escolha recomendada para a cobertura de modelos mais ampla, operadores que não são engenheiros e a primeira execução mais rápida, com migração para sua CLI ao escalar.
• TRL: loops de treino personalizados, novos algoritmos de pós-treino e acoplamento estreito com a Hugging Face apontam para o TRL, descrito como a camada que os outros frameworks envolvem.

Essas opções não são mutuamente exclusivas: o LLaMA-Factory pode rodar o Unsloth como backend, o TRL traz uma integração com o Unsloth e o Axolotl chama internamente os trainers do TRL. Escolher LLaMA-Factory ou TRL ainda pode, portanto, significar rodar o Unsloth por baixo.

Limitações

Maturidade e escala

• Configuração multi-GPU: o próprio guia multi-GPU do Unsloth diz que o processo pode ser complexo e exige configuração manual, com o suporte multi-GPU oficial ainda a ser anunciado.
• Visão independente: uma comparação independente de 2026 conclui que o Unsloth vence em velocidade com uma GPU e em comprimento de contexto, enquanto multi-GPU segue como seu ponto fraco documentado.
• Arquiteturas novas: o Unsloth funciona com qualquer modelo suportado pelo transformers, mas alguns modelos mais novos podem precisar de um pequeno ajuste manual por causa das suas otimizações.

Ressalvas de hardware e desempenho

• Mínimos de VRAM: a tabela de requisitos de VRAM traz mínimos absolutos, e alguns modelos precisam de mais. Para um modelo de 8B, ela lista 6 GB com QLoRA (4-bit) e 22 GB com LoRA (16-bit).
• Studio só com CPU: em dispositivos só com CPU, o Studio suporta Chat para modelos GGUF e Data Recipes, com o Export descrito como chegando muito em breve.
• Velocidade de inferência: busca na web, execução de código e correção de chamadas de ferramenta deixam a inferência mais lenta; com isso desligado, a velocidade deve se igualar à de outros apps de llama.cpp.
• Tempo de aquecimento: o treino pode parecer mais lento no início porque o torch.compile costuma levar cerca de 5 minutos ou mais para aquecer e terminar de compilar.
• Modelos exportados: quando um modelo que funcionava no Unsloth gera saídas ruins, sem sentido ou repetidas no Ollama, no vLLM ou em outro runtime, a causa mais comum é um template de chat incorreto; o template usado no treino precisa ser usado lá também.

Privacidade, segurança e licenças

• Telemetria: o Unsloth Desktop afirma não ter telemetria; ele detecta seu tipo de GPU e dispositivo para compatibilidade e pode rodar totalmente offline.
• Controle de acesso do Studio: o Unsloth Studio pode ser usado totalmente offline e usa autenticação baseada em token, com senhas criptografadas e fluxos JWT de acesso e renovação.
• Permissões de ferramentas: os controles de permissão fazem com que o modelo e o Unsloth não possam acessar, modificar ou editar seus arquivos nem usar a internet sem sua aprovação.
• Servidores expostos: ferramentas do lado do servidor (busca na web, execução de código Python e de terminal) rodam como o seu usuário e vêm ativadas por padrão, então qualquer pessoa que alcance o servidor com a chave de API pode executar código na máquina; a documentação associa a exposição à flag --disable-tools.
• Divisão de licenças: o LICENSE do repositório coloca a biblioteca principal, os testes e os scripts sob Apache 2.0, enquanto as pastas do Studio e da CLI, de instalação opcional, têm licença AGPLv3 (studio/* e unsloth_cli/*).

FAQ

Q1. O Unsloth é gratuito?

O Unsloth Desktop é descrito como um app gratuito e de código aberto, e o plano Free é a versão padrão. Unsloth Pro e Unsloth Enterprise existem, mas a página de preços mostra Contact us em vez de um preço.

Q2. Preciso de uma GPU NVIDIA?

Não para todas as tarefas. Chat e Data Recipes funcionam em CPU, e o treino no Studio suporta dispositivos NVIDIA, AMD, MLX e Intel. Para treinar no Windows, uma GPU NVIDIA aparece como requisito.

Q3. O Unsloth pode usar modelos que já baixei?

Sim. Modelos já baixados são encontrados automaticamente, e você pode indicar pastas personalizadas se os seus não forem detectados.

Q4. Um modelo treinado no Unsloth roda no Ollama ou no LM Studio?

Sim. O Unsloth exporta para GGUF ou safetensors para runtimes como llama.cpp, Ollama, vLLM e LM Studio, desde que o template de chat seja o mesmo usado no treino.

Q5. Qual licença se aplica ao Unsloth?

O pacote principal está sob Apache 2.0, enquanto componentes opcionais como a Unsloth Studio UI estão sob AGPL-3.0.