GitHub 项目:smol-course
仓库地址:https://github.com/huggingface/smol-course
星级:6644 | 作者:拥抱脸
项目描述:关于对齐 smol 模型的课程。
===================================================
自述文件内容:

# smol 课程
这是一门关于根据您的特定用例调整语言模型的实用课程。这是开始调整语言模型的便捷方法,因为所有内容都在大多数本地计算机上运行。 GPU 要求最低,且无付费服务。本课程围绕 [SmolLM3](https://huggingface.co/blog/smollm3) 和 [SmolVLM2](https://huggingface.co/blog/smolvlm2) 模型构建,但您将学到的技能也可以应用于更大的模型或其他小型 LLM/VLM。
smol 课程 v2 已上线!
本课程是开放的并经过同行评审。要参与课程,打开拉取请求并提交您的作品以供审核。步骤如下:
- 关注Hugging Face Hub 组织
- 阅读材料、进行更改、做练习、添加您自己的示例。
- 将模型提交到排行榜
- 登上排行榜
这应该可以帮助您学习并构建不断改进的社区驱动课程。
## 本课程的未来
本课程即将在Hugging Face Learn上重新发布!请继续关注更新。
## 课程大纲
本课程提供了一种实用的实践方法来处理小语言模型,从初始培训到生产部署。
| #|主题 |描述 |发布 |
| - | -----| ----------- | -------- |
| 1 |指令调优|监督微调、聊天模板、遵循指令 | ✅ |
| 2 |评价|基准和自定义域评估 | ✅ |
| 3 |偏好调整|使用 DPO 等算法使模型符合人类偏好。 | ✅ |
| 4 |视觉语言模型 |适应和使用多模式模型 | ✅ |
| 5 |强化学习 |基于强化策略优化模型。 | 2025 年 10 月 |
| 6 |综合数据|为自定义域生成综合数据集 | 2025 年 11 月 |
| 7 |颁奖典礼|展示项目并庆祝 | 2025 年 12 月 |
## 为什么选择小语言模型?
虽然大型语言模型已经显示出令人印象深刻的功能,但它们通常需要大量的计算资源,并且对于重点应用程序来说可能是过度的。小语言模型为特定领域的应用程序提供了几个优势:
- **效率**:训练和部署所需的计算资源显着减少
- **定制**:更容易微调和适应特定领域
- **控制**:更好地理解和控制模型行为
- **成本**:降低训练和推理的运营成本
- **隐私**:无需se即可在本地运行