Unsloth

Что такое Unsloth?

Unsloth — open-source-фреймворк для запуска и обучения LLM, который позволяет запускать и обучать модели ИИ на собственном локальном оборудовании через открытый интерфейс. Он охватывает текстовые, визуальные, диффузионные (изображения и видео), аудио- и embedding-модели; поддерживаются и локальный инференс, и дообучение LLM.

Unsloth можно установить тремя разными способами: Unsloth Desktop как нативное приложение, Unsloth Studio как веб-интерфейс в браузере или Unsloth Core как исходный Python-пакет для работы через код. Desktop и Studio — интерфейсы без кода; Core — библиотека, которую разработчики вызывают из своих скриптов обучения и ноутбуков.

Unsloth Desktop помечен как Beta и описан как бесплатное приложение с открытым кодом для запуска и обучения моделей ИИ на своём оборудовании, доступное для macOS, Windows и Linux. Unsloth Studio тоже в Beta и позиционируется как открытый no-code веб-интерфейс для обучения, запуска и экспорта открытых моделей в одном локальном интерфейсе. Главная страница описывает Unsloth Desktop тремя словами: open source, бесплатно и 100% локально. В очерке деловой прессы 2024 года сообщалось, что сооснователи компании — братья Michael и Daniel Han, которые тогда участвовали в Y Combinator.

Ключевые функции

Главное заявление Unsloth: он обучает LLM, диффузионные, TTS- и embedding-модели в 2× быстрее, расходуя на 70% меньше VRAM и без потери точности. Это собственная цифра разработчика; условия тестов, стоящие за ней, приведены ниже.

Методы обучения и охват моделей

• Методы обучения: Unsloth поддерживает обучение с подкреплением, LoRA, QLoRA, полное дообучение, предобучение, GRPO, DPO и обучение в FP8.
• Набор моделей: по словам компании, поддерживаются инференс и обучение для 500+ моделей, а сценарии для vision, TTS, embedding и RL описаны в документации отдельно.
• Обучение без кода: в Unsloth Desktop достаточно перетащить файл PDF, CSV или JSON и выбрать LoRA, полное дообучение или предобучение; та же страница повторяет заявление «в 2x быстрее, на 70% меньше VRAM» и утверждает, что multi-GPU работает.
• Наблюдение за обучением: Unsloth Studio в реальном времени отслеживает функцию потерь, нормы градиентов и загрузку GPU, а экран прогресса можно открыть на других устройствах, например на телефоне.

Условия бенчмарков за заявлением о скорости

Опубликованные бенчмарки обучения проводились на GPU H100 и Blackwell с датасетом Alpaca, размером батча 2, 4 шагами накопления градиента, rank 32 и QLoRA на всех линейных слоях. Относительно базовой линии Hugging Face + FA2 таблица указывает для Llama 3.3 (70B) скорость 2x, снижение VRAM более чем на 75% и в 13x более длинный контекст, а для Llama 3.1 (8B) — скорость 2x, снижение VRAM более чем на 70% и в 12x более длинный контекст, в обоих случаях на GPU с 80 ГБ.

Unsloth объясняет результаты на длинном контексте своим алгоритмом gradient checkpointing в сочетании с алгоритмом CCE от Apple и утверждает, что чем больше данных, тем меньше VRAM он расходует. Это бенчмарки разработчика, а не независимые измерения.

Запуск моделей, инструменты и исследования

• Самовосстанавливающиеся вызовы инструментов: по словам Unsloth, вызовы инструментов, которые обнаруживают, исправляют и повторяют сбои, повышают точность вызова инструментов до 50%, а модели могут выполнять Bash и Python в защищённой среде.
• Веб-поиск и глубокое исследование: обычный веб-поиск идёт, пока модель ещё думает, а глубокое исследование сначала строит план, ищет источники и затем пишет подробный отчёт со ссылками.
• Генерация изображений и видео: Unsloth генерирует с помощью Qwen-Image-2.1, FLUX, Z-Image, LTX, Wan и дообученных LoRA-адаптеров. По его собственному примеру, запуск MiniMax-H3 FP8 на NVIDIA B200 сократил генерацию 960×544, 124 кадра, 8 шагов с более чем 70 секунд до 13 секунд.
• Новые модели: Unsloth заявляет, что может запускать и обучать почти любую модель, включая ещё не вышедшие, обещает поддержку Day Zero для семейств вроде Qwen3.8, Gemma, Meta, NVIDIA и GLM и отдаёт должное llama.cpp и Hugging Face за базовую работу.
• Сравнение моделей и инференс: в Studio можно устроить модели поединок бок о бок, а бэкенды llama.cpp и Hugging Face берут на себя multi-GPU-инференс, автоматическую выгрузку (offloading) и подгонку (fitting).

Экспорт, API и провайдеры

Unsloth Studio экспортирует модели, включая дообученные, в safetensors или GGUF для llama.cpp, vLLM, Ollama, LM Studio и других сред выполнения. Именно этот шаг экспорта переносит модель, обученную в Unsloth, в другие программы.

В обратном направлении Unsloth отдаёт локальные модели через OpenAI-совместимый API, а также может подключить подписку ChatGPT/Codex и облачных провайдеров. Команда unsloth run запускает модель как сервер и меняет такие настройки, как размер контекста, слои GPU, потоки, сэмплирование, сеть и конфигурация инструментов.

Руководство

Установка Unsloth Desktop

1. Скачайте установщик для своей системы: файл .dmg для macOS, .exe для Windows или .deb для Linux.
2. В macOS откройте установщик .dmg, перетащите Unsloth в Applications, затем запустите приложение и дождитесь окончания установки; в Windows и Linux следуйте подсказкам установщика.
3. Откройте выпадающий список Select model или вкладку Model hub, выберите модель и квантизацию под своё устройство, скачайте её и начните чат после завершения загрузки.

Дообучение в Unsloth Studio

1. Запустите Unsloth и загрузите модель из локальных файлов или через поддерживаемую интеграцию.
2. Импортируйте обучающие данные из файлов PDF, CSV или JSONL либо соберите датасет с нуля.
3. Очистите и расширьте датасет в Data Recipes, затем обучайте с рекомендуемыми пресетами или собственной конфигурацией.
4. Пообщайтесь с обученной моделью, сравните её с базовой, затем сохраните или экспортируйте её локально в уже используемый стек.

Studio также может импортировать YAML-конфигурацию обучения и заранее заполнить нужные настройки вместо старта с пресетов.

Удалённый доступ

По умолчанию unsloth studio привязывается к 127.0.0.1, поэтому доступ есть только с локальной машины. Опция --secure отдаёт его только через бесплатную HTTPS-ссылку Cloudflare и вовсе не запускается, если туннель не поднимается, так что «сырой» порт никогда не открывается наружу.

Сценарии использования Unsloth

• Локальные агенты для кода: Unsloth Start через команду unsloth start подключает Claude Code, Codex и другие агенты к локальным моделям, чтобы агентный процесс работал с моделью на вашем собственном GPU.
• Документы как обучающие данные: Data Recipes превращает загруженные PDF, CSV и JSON в пригодные к использованию или синтетические датасеты через процесс на графе узлов на базе NVIDIA NeMo Data Designer, так что датасет для дообучения можно начать с собственных документов.
• Собственные стили изображений: Unsloth обучает LoRA-адаптеры для SDXL, FLUX.2, Qwen-Image и Z-Image на ваших изображениях, подписи (captioning) и выбор rank делаются внутри приложения, а результат можно экспортировать и снова загрузить для инференса.
• Локальная работа с речью: приложение генерирует, дообучает или транскрибирует аудио полностью локально, охватывая синтез речи, распознавание речи, Whisper и Qwen3-ASR.
• Попробовать дообучение без локального GPU: бесплатный ноутбук Google Colab запускает Unsloth Studio на GPU T4 в Colab, где большинство моделей до 22B параметров можно обучить и запустить, прежде чем переходить на более мощный GPU.

Для кого предназначен

• Разработчики с одним GPU: независимое сравнение фреймворков 2026 года рекомендует Unsloth для одного потребительского GPU с поддерживаемой архитектурой и LoRA или QLoRA, ссылаясь на запас по длине контекста.
• Те, кому нужен локальный запуск LLM без обучения: интерфейс вовсе не требует дообучения; можно скачать любой GGUF или модель и использовать как есть.
• Пользователи без отдельного GPU: без GPU Unsloth по-прежнему работает для Chat и Data Recipes, так что и машина только с CPU может общаться с моделями и собирать датасеты.
• Командам, которым нужен продвинутый параллелизм, он подходит хуже: то же сравнение говорит, что Unsloth ломается, когда тензорный, контекстный или экспертный параллелизм нужен как полноценная настройка и когда модели нет в списке поддерживаемых, поскольку его преимущества основаны на ядрах под конкретные архитектуры.

Платформы

• Загрузки Desktop: Unsloth Desktop доступен как .dmg для Mac (Apple Silicon и Intel), .exe для Windows 10 и новее и .deb для Ubuntu и совместимых дистрибутивов Linux.
• ОС и чипы: Unsloth поддерживает Mac, Windows, Linux и WSL, а также GPU и CPU NVIDIA, Intel, AMD и Mac, хотя старое оборудование может поддерживаться плохо.
• Оборудование для обучения в Studio: обучение в Unsloth Studio сейчас работает на устройствах NVIDIA, AMD, MLX и Intel и требует Python 3.11–3.13; Unsloth Core тоже может обучать на устройствах AMD и Intel.
• Windows: Studio работает в Windows без WSL, но заявленные требования для обучения — Windows 10 или 11 (64-бит) и GPU NVIDIA с установленными драйверами.
• Unsloth Core на NVIDIA: Core нужен GPU с CUDA Capability 7.0 или выше, например V100, T4, RTX серий 20 и 50, A100, H100 или L40; GTX 1070 и 1080 работают, но медленно.
• Unsloth Core на другом оборудовании: GPU AMD и Intel работают по отдельным руководствам, а поддержка Apple Silicon/MLX для Core описана как находящаяся в разработке.
• Docker: официальный Docker-образ работает с Unsloth, совместимость с Mac ещё дорабатывается.
• Раздача по локальной сети: при работе через LAN трафик остаётся внутри вашей сети, и всё работает без интернета; удалённый доступ идёт через туннель Cloudflare, описанный в руководстве.

Ценообразование

Unsloth Pro подаётся как обучение в 2,5x быстрее, на 20% меньше VRAM и поддержка до 8 GPU, а Unsloth Enterprise — как обучение в 30x быстрее, поддержка нескольких узлов и 30% точности, но у обоих есть только кнопка Contact us, поэтому публичной цены нет ни у одного. Enterprise дополнительно указывает до +30% точности, инференс в 5x быстрее, полное обучение, все функции Pro, поддержку нескольких узлов и поддержку клиентов.

Карточки планов расходятся с документацией. Карточка Free описывает себя как freeware стандартной версии Unsloth, отмечает её как open source, называет поддержку Mistral, Gemma и Llama 1, 2, 3 и по-прежнему указывает MultiGPU как «скоро» (coming soon). Таблица различий планов оценивает уровень Free в 2x прироста скорости и 60% снижения VRAM, что отличается от цифры «в 2× быстрее, на 70% меньше VRAM», используемой по всей документации.

Лицензия тоже входит в то, что здесь значит «бесплатно». Unsloth использует двойное лицензирование: основной пакет Unsloth остаётся под Apache 2.0, а некоторые необязательные компоненты, например Unsloth Studio UI, — под AGPL-3.0. Компания говорит, что такая схема помогает поддерживать дальнейшую разработку, сохраняя проект открытым.

Альтернативы Unsloth

Независимое сравнение open-source-фреймворков для дообучения 2026 года ставит Unsloth рядом с тремя другими проектами и отводит каждому свою задачу:

• Axolotl: сравнение направляет к Axolotl команды с двумя–восемью GPU, длинным контекстом, полным дообучением или RLHF-конвейерами и называет FSDP2 с параллелизмом по последовательности лучше всего задокументированным путём.
• LLaMA-Factory: рекомендуемый выбор для самого широкого охвата моделей, операторов без инженерной подготовки и самого быстрого первого запуска, с переходом на его CLI при масштабировании.
• TRL: собственные циклы обучения, новые алгоритмы пост-обучения и тесная связка с Hugging Face указывают на TRL, который описан как слой, оборачиваемый другими фреймворками.

Эти варианты не исключают друг друга: LLaMA-Factory может запускать Unsloth как бэкенд, TRL поставляется с интеграцией Unsloth, а Axolotl внутри вызывает тренеры TRL. Поэтому выбор LLaMA-Factory или TRL всё равно может означать работу Unsloth под капотом.

Ограничения

Зрелость и масштабирование

• Настройка multi-GPU: собственное руководство Unsloth по multi-GPU говорит, что процесс может быть сложным и требует ручной настройки, а официальную поддержку multi-GPU ещё предстоит объявить.
• Независимый взгляд: независимое сравнение 2026 года заключает, что Unsloth выигрывает по скорости на одном GPU и длине контекста, тогда как multi-GPU остаётся его задокументированным слабым местом.
• Новые архитектуры: Unsloth работает с любой моделью, поддерживаемой transformers, но некоторым новым моделям из-за его оптимизаций может понадобиться небольшая ручная доработка.

Оговорки по оборудованию и производительности

• Минимум VRAM: таблица требований к VRAM даёт абсолютные минимумы, и некоторым моделям нужно больше. Для модели 8B она указывает 6 ГБ с QLoRA (4-bit) и 22 ГБ с LoRA (16-bit).
• Studio только на CPU: на устройствах только с CPU Studio поддерживает Chat для моделей GGUF и Data Recipes, а Export, по описанию, появится совсем скоро.
• Скорость инференса: веб-поиск, выполнение кода и исправление вызовов инструментов замедляют инференс; если их выключить, скорость должна быть как у других приложений на llama.cpp.
• Прогрев: обучение поначалу может казаться медленнее, потому что torch.compile обычно тратит около 5 минут или больше на прогрев и завершение компиляции.
• Экспортированные модели: если модель, работавшая в Unsloth, выдаёт в Ollama, vLLM или другой среде выполнения плохой, бессвязный или повторяющийся вывод, чаще всего причина в неверном шаблоне чата; там нужно использовать тот же шаблон, что и при обучении.

Приватность, безопасность и лицензии

• Телеметрия: Unsloth Desktop заявляет, что телеметрии нет; он определяет тип GPU и устройство для совместимости и может работать полностью офлайн.
• Контроль доступа в Studio: Unsloth Studio можно использовать полностью офлайн; он использует аутентификацию на токенах с зашифрованными паролями и потоками JWT для access- и refresh-токенов.
• Права инструментов: благодаря контролю прав модель и Unsloth не могут получать доступ к вашим файлам, изменять или редактировать их и пользоваться интернетом без вашего одобрения.
• Открытые наружу серверы: серверные инструменты (веб-поиск, выполнение кода Python и в терминале) работают от имени вашего пользователя и включены по умолчанию, поэтому любой, кто может достучаться до сервера с API-ключом, может выполнять код на машине; документация связывает открытие доступа с флагом --disable-tools.
• Разделение лицензий: файл LICENSE репозитория относит основную библиотеку, тесты и скрипты к Apache 2.0, а устанавливаемые по желанию папки Studio и CLI лицензированы по AGPLv3 (studio/* и unsloth_cli/*).

ЧаВо

Q1. Unsloth бесплатный?

Unsloth Desktop описан как бесплатное приложение с открытым кодом, а план Free — это стандартная версия. Unsloth Pro и Unsloth Enterprise существуют, но на странице цен вместо цены указано Contact us.

Q2. Нужен ли GPU NVIDIA?

Не для всех задач. Chat и Data Recipes работают на CPU, а обучение в Studio поддерживает устройства NVIDIA, AMD, MLX и Intel. Для обучения в Windows GPU NVIDIA указан как требование.

Q3. Может ли Unsloth использовать уже скачанные модели?

Да. Уже скачанные модели находятся автоматически, а если ваши не обнаружены, можно указать свои папки.

Q4. Может ли модель, обученная в Unsloth, работать в Ollama или LM Studio?

Да. Unsloth экспортирует в GGUF или safetensors для сред выполнения, включая llama.cpp, Ollama, vLLM и LM Studio, при условии что шаблон чата совпадает с использованным при обучении.

Q5. Какая лицензия применяется к Unsloth?

Основной пакет распространяется под Apache 2.0, а необязательные компоненты, например Unsloth Studio UI, — под AGPL-3.0.