qwen3.c

Обновлено 22.10.2026

Для первого запуска возьмите небольшую модель Qwen3-0.6B и программу qwen3 из проекта qwen3.c. Она запускает модель на CPU без видеокарты. Веса модели не входят в образ SynapseOS. Их нужно подготовить на обычном компьютере и перенести в VM.

1. Проверьте программу в образе

uname -a
ls /bin/qwen3

В редакции Extended программа qwen3 включена в состав сборки. Если /bin/qwen3 отсутствует, этот образ не готов к следующим шагам. Наличие опубликованного пакета для setup install qwen3 пока не подтверждено.

2. Подготовьте модель на обычном компьютере

Команды ниже рассчитаны на Linux или macOS. Понадобятся Python, место для загрузки исходной модели и место для готовых файлов. Скачайте исходники и установите зависимости в отдельное окружение:

git clone https://github.com/adriancable/qwen3.c.git
cd qwen3.c
python3 -m venv .venv
.venv/bin/pip install -r requirements.txt

Преобразуйте Qwen3-0.6B в формат qwen3.c:

.venv/bin/python export.py Qwen3-0.6B.bin Qwen/Qwen3-0.6B

Экспортёр создаст квантованный checkpoint Q8_0, токенизатор и шаблоны сообщений. qwen3 читает этот формат, а не произвольный GGUF. Перенесите в SynapseOS весь набор: Qwen3-0.6B.bin и все файлы с началом имени Qwen3-0.6B.bin.. Одного .bin недостаточно для диалога. Сохраните адрес источника и контрольные суммы файлов.

3. Запустите первый запрос

Разместите набор, например, в /srv/models/qwen3-0.6b. Проверьте имена и выполните запрос:

ls /srv/models/qwen3-0.6b
qwen3 /srv/models/qwen3-0.6b/Qwen3-0.6B.bin -i "Привет! Ответь одним предложением."

Для интерактивного ввода запустите программу без -i:

qwen3 /srv/models/qwen3-0.6b/Qwen3-0.6B.bin

Режим рассуждения включайте только для модели, которая его поддерживает, и при наличии соответствующих файлов шаблонов:

qwen3 /srv/models/qwen3-0.6b/Qwen3-0.6B.bin -r 1

4. Настройте память и проверьте скорость

Начните с короткого запроса. Проверьте свободную память до запуска и во время генерации. При нехватке памяти уменьшите модель или контекст параметром -c. Скорость обработки запроса и генерации измеряйте в токенах в секунду. Сравнивайте результаты только при одинаковой модели, числе потоков, настройках VM и тексте запроса. В наших бенчмарках использовались Qwen3-0.6B Q8_0 и конкретная конфигурация VM, поэтому на другом процессоре скорость будет иной.

Если возникла ошибка

qwen3 не найден: проверьте редакцию образа и путь /bin/qwen3
Не открывается checkpoint: рядом с .bin должны лежать .tokenizer и файлы .template* с тем же общим именем
Не хватает памяти: уменьшите размер модели или контекст
Ответ бессмысленный: проверьте, что модель экспортирована из совместимой версии qwen3.c и перенесена целиком

Для разбора проблемы сохраните версию ядра SynapseOS, модель, команду запуска и точный текст ошибки. Не прикладывайте к публичному отчёту приватные запросы.