显示 HN：Qwen3-4B，AI 书写抽动训练完成

只需将 Qwen3-4B 与经过训练的 AI 书写隐藏起来即可。这是一个小型开放模型，在 MacBook Air 上进行了微调，无需长破折号、“不是 X，而是 Y”或三个列表，并且不需要系统提示，您可以在本地使用 Ollama 运行它。 Erik Markus Kannike · 2026 年 10 月 · TL;DR 我根据 Qwen3-4B-Instruct 训练了助理写作习惯，并将其发布为 qwen3-4b-deslop 。对于 Ollama，它的 ollama 运行 hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M ，下载量为 2.5 GB。在训练中从未见过的 40 个提示中，每 1000 个单词的斜率分数从 121 下降到 12.5，并且 68% 的答案得分在人类书写范围内。破折号从每 1000 个单词 20.5 个减少到零。它仍然正确回答了 30 个事实问题中的 30 个，并且与原始问题一样符合所要求的类型和长度。它对人类写的散文的预测变化大约是运行时指导的三分之一。中间版本得分9.9，写得很糟糕：没有观点的评论文章，发明性的研究，以及每个句子都用“，which”连接的新习惯。解决这个问题需要第二个过滤器来检查答案是否符合提示的要求。声音平淡到平淡，但它仍然发明了名字和地点。我的家庭实验室是 MacBook Air，因此这是一个基于 161 个答案进行训练的 4B 模型。该配方不依赖于模型大小，下一步是在更大的模型上运行它。 40 个保留提示的答案 这些是来自原始模型和已发布模型的每个提示的一个样本答案，涉及四种类型的十个主题，没有系统提示。带下划线的通道是溢出检测器计数的通道。原始 Qwen3-4B-Instruct Generation 在 260 个标记处停止，因此长答案在句子中间结束。将鼠标悬停在带下划线的段落上即可查看它是哪种习惯。分数以每1000字为单位；人类写作的分数通常低于 15。 粗略分数 分数来自我根据人工智能写作习惯风格指南编写的检测器：破折号、“这不是 X，这是 Y”、三个列表、当场回答的反问句、“这就是事情”之类的路标、用于强调的短片段以及“深入”和“无缝”等词语。每个习惯都有一个权重，分数是每 1000 个单词的加权计数。细心的人类作家撰写的段落得分接近于零，而原始模型的平均得分为 121。正则表达式无法区分写作的好坏，因此还检查了下面的每个模型是否有损坏。 Drift 衡量其对 22 段人类散文的预测与原始模型的偏差程度。包含 30 个问题的测验会检查它是否仍然了解事物，基于规则的检查会标记损坏的输出，例如小写句子开头或丢失的主题。我还阅读了每个模型的答案样本。训练方法 早期对该模型的实验发现辅助寄存器是其中的一个方向：在模型写入时减去它，再加上简单风格的系统提示，将分数带到 15 左右，但它需要生成期间的提示和代码运行，并且它会将模型的预测转移到普通文本上。第二个人一次读取一个神经元，发现四个神经元的符号翻转几乎没有成本地消除了 70% 的“不是 X，而是 Y”，尽管只是为了那个习惯。为了将两者纳入权重，我使用了蒸馏：一位老师根据迄今为止最有效的方法构建，回答了 288 个训练提示。我保留通过检查的答案，然后一个小型 LoRA 适配器学会根据简单的提示生成它们。第一回合，在没有提示、没有勾手的情况下，比分来到了20左右。第二轮 对于第二轮，老师是第一轮模型加上四神经元补丁和简单风格的提示。在顶部添加方向转向也产生了我测得的最低分数，9.5，因为没有大写字母的文本偏离了主题，所以我把转向收回了。老师的平均分是 7.4，接受 171 个最佳答案训练的学生得分是 9.9，80% 的答案都在人类范围内。在其回答中，有关公司新 CRM 的评论文章从未表明立场，读起来也不像事件报告。一篇关于搬到新城市的博客文章变成了一个关于公寓漏水的家庭的第三人称故事。一篇关于室内植物的文章引用了该模型发明的“悉尼科技大学的一项研究”。几乎每个句子都会遇到下一个句子“,which”或“,so”，是原始模型的 28 倍。最后一个习惯来自我自己的老师提示，它告诉模型用“因为、所以、但是、哪个”连接句子，两轮模仿放大了它。任务适合性检查我添加了基于规则的检查，以检查答案是否符合提示的要求。评论文章必须尽早表明立场，个人反思必须以第一人称，电子邮件必须以问候语开头，长度必须大致符合要求。另外两个检查计数“,which”和“,so”连接并发明了研究和百分比。在这些方面，第二轮模型仅在 60% 的时间内完成了所要求的任务，而对于 78% 的时间