开发者生态
evening
Qwen 3.6 27B是本地开发的最佳选择
2026-06-29
1 阅读
约9分钟阅读
stared
字号:
返回博客 Qwen 3.6 27B 是本地开发的最佳选择 Piotr Migdał 2026 年 6 月 29 日 下载 PNG 我过去对本地模型感到失望。但后来我查看了Qwen 3.6,我感到敬畏。对我来说,这是第一个真正有意义的通用智能本地模型。它有两种变体,一种是专家混合型号 Qwen 3.6 35B A3B ,另一种是密集型 Qwen 3.6 27B - 速度较慢,但功能更强大。我推荐的那一款!让我分享我的印象,并表明您也可以运行它。从字面上看,很热。当我的膝盖开始融化时,我抓起手机上的热像仪拍了一张照片。 Qwen 3.6 理所当然地在 Hacker News 上得到了大量报道。关于 Qwen 3.6 27B 最常见的说法是它超越了它的重量 - 请参阅它会神话吗? 。我认为这是当之无愧的情感。它会让你的电脑变热,但这是值得的!试水 Simon Willison 使用“自行车上的企鹅”作为烟雾测试(参见 Qwen 3.6 35B A3B 和 Qwen 3.6 27B)。我通常会进行有限制的写作。一年前,这些东西都是最先进的,需要一个独特的、极其昂贵的 GPT-4.5,请参阅翻译 Quantum Flytrap 的氛围。我还要求它写一首关于 Zouk 舞蹈和量子物理的 8 行诗,请参阅文字记录。无论是从量子术语还是押韵方面的思考来看,这个思维过程都是有意义的。然后我在 OpenCode 中要求使用 pnpm 创建一个六角形扫雷器。它起作用了:它在第一次运行时就起作用了,从一个提示符开始,使用正确的 Node 包。专家混合 Qwen 3.6 35B A3B 速度更快......但忽略了我创建包的指示,并在单个 index.html 中完成了它。真正的工作 当然,关于量子力学的创造性写作,或者扫雷艇的另一个克隆,很少是日常工作。但 Qwen 3.6 27B 在日常任务中也表现不错。在 AI Tinkerers Warsaw 的一位朋友 Maciej Cielecki 的提示下。它工作了几分钟并创建了这个:按照当前前沿模型的标准,它并不引人注目。但这已经是一项实际工作了。它有效,反应灵敏,默认值很好 - 所有这些都来自一个简短的提示。使用 llama.cpp 在本地运行 Qwen 3.6 运行本地模型比以往更容易。几行 CLI 就可以了。我推荐 llama.cpp - 一个直接的开源工具,允许在各种设备上运行模型。你不需要 Ollama,坦率地说 - 出于道德原因我建议不要使用它。首先,我们转到 Hugging Face,以获得适当的量化,即尺寸减小的模型 - 流行的模型是由 unsloth 或 bartowski 等提出的。默认型号通常具有 BF16 精度。常见的 8 位量化可以节省一半的空间,而几乎不会影响质量。再往前走,模型会更小(并且可能更快),但以质量为代价,请参阅 27B 和 35B A3B 的另一比较。我们使用 unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 ,这是一个支持多标记预测 (MTP) 的 8 位量化。 llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ --spec-type Draft-mtp -ngl 999 -fa on -c 65536 --jinja --port 8080 它的作用: -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 从 Hugging Face 抓取,在下一次运行中将重用它-m ~/models/Qwen3.6-27B-Q8_0.gguf 如果你已经有了它,请使用 Draft-mtp 我们使用快速模型来预测后续标记,加快速度 -ngl 999 将所有层放入 GPU -fa 闪存注意力在 -c 65536 上下文大小设置为 64k 标记(我们可以调整,因为 Qwen 3.6 27B 本地上下文是 256k) --jinja for工具调用支持 --port 8080 最好固定端口,因为它会被其他配置使用如果您打开 http://127.0.0.1:8080 ,您可以直接与它聊天。完全相同的服务器可用于 vivi 编码。代理的选择取决于一个人的目标和主观品味——全面的 OpenCode、简约的 Pi 和自我完善的 Hermes。对于 OpenCode,只需添加 ~/.config/opencode/opencode.jsonc 即可: { "$schema" : "https://opencode.ai/config.json" , "provider" : { "llama" : { "name" : "llama.cpp (local)" , "npm" : "@ai-sdk/openai-known" , "options" : { "baseURL" : "http://127.0.0.1:8080/v1" , "apiKey" : "local" }, "models" : { "qwen3.6-27b" : { "name" : "Qwen3.6-27B Q8 +MTP" } } } }, "model" : "llama/qwen3.6-27b" } 如果你只是想聊天并且是它的忠实粉丝的终端,而不是 llama-server 使用 llama-cli : llama-cli -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ -ngl 999 -fa on -c 65536 --jinja 测量性能是否足够快?我在我的 Macbook Max M5 128 GB 上运行了一些测试(源代码在这里),在有和没有多令牌预测的情况下运行它,并将两者与 35B A3B 模型以及量化的 DeepSeek V4 Flash 版本 DwarfStar4 进行比较。令牌 / 秒 RAM Qwen3.6-35B-A3B · 8 位 MLX 85 tok/s 85 37 GB RAM 37 GB llama.cpp 93 tok/s 93 44 GB RAM 44 GB llama.cpp + MTP 105 tok/s 105 45 GB RAM 45 GB Qwen3.6-27B · 8 位 MLX 17 tok/秒 17 28 GB RAM 28 GB llama.cpp 18 tok/秒 18 41 GB RAM 41 GB llama.cpp + MTP
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱