GitHub项目：tiny-universe 仓库地址：https://github.com/datawhalechina/tiny-universe Stars：4999 | 作者：datawhalechina 项目描述：《大模型白盒子构建指南》：一个全手搓的Tiny-Universe ================================================== README 内容：   本项目是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南，旨在帮助有传统深度学习基础的读者从底层原理出发，“纯手搓”搭建一个清晰、可用的大模型系统，包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。本项目将从基础原理出发，深入剖析每一个技术点并附以完整的代码实现，以细致讲解和代码注释帮助读者独立复现大模型核心部分，并在复现中实现对大模型的深入理解与掌握。   本项目旨在为广大学习者搭建一个清晰的、可用的、可复现的大模型世界，帮助每一位有兴趣的学习者纯手工独立搭建自己的 **Tiny LLM Universe**。   本项目的主要内容包括： ### 主体部分 主题部分主要为对经典技术的从零实现，旨在带领学习者深度掌握经典工作的实现细节: 1. 手写图像生成模型--Tiny Diffusion 2. 深入剖析大模型原理——Qwen Blog 3. 逐步预训练一个手搓大模型——Tiny Llama3 4. 如何评估你的大模型——Tiny Eval 5. 纯手工搭建 RAG 框架——Tiny RAG 6. 手搓一个最小的 Agent 系统——Tiny Agent 7. 深入理解大模型基础——Tiny Transformer 8. 手搓一个基本的 GraphRAG 系统——Tiny GraphRAG ### 探索部分 探索部分主要为新颖的**学术作品/生产阶段**的优秀作品进行从零复现，旨在带领学习者深度感知如何从`会做->创新`: 1. 使用细粒度语义元素指导增强的RAG检索方法--CDDRS (ADVEI25) ## 项目意义   随着百模大战的经久不衰，开源或是闭源的大模型正不断刷新着模型能力上限，逼近 AGI 的宏伟未来。随着大模型能力的不断增强，基于大模型进行二次微调、应用开发的门槛也不断降低，大模型正在不断深入各行各业，为生产生活赋予智能力量。飞速成熟的大模型生态正不断带来更多的开源或闭源框架、API，层出不穷的各式教程让更多的开发者可以快速、便捷地实现大模型的应用。但生态愈是成熟，深入理解框架之内的细节，实现独立于框架的开发、应用能力愈是关键。只有从核心原理出发，尽可能地脱离框架，实现大模型系统的“纯手搓”，才能真正理解模型的核心能力、关键部分，也才能够对框架实现自由的修改应用，随心所欲地将大模型应用到各行各业各类任务。   目前，大部分教程目标在于指导开发者如何基于高度封装的 API、开源框架实现便捷、快速的开发和训练，有利于初学者入门，却忽视了掌握模型原理、框架内部细节的重要性。不管是大模型本身，还是基于大模型的赋能系统 RAG 或者是 Agent，又或者是开发应用大模型的必备组件评估体系，都有丰富的基于工具包的使用教程，使很多学习者“知其然而不知其所以然”，只能机械地使用工具包而无法从原理出发进行自由的魔改。本项目旨在抛弃高度封装的工具包与 API，从底层（Pytorch 层）出发，“纯手搓”一个大模型系统，完成大模型的 RAG 、 Agent 、Eval 任务，帮助具备一定的大模型基础的学习者进一步掌握大模型原理，拥抱更自由、更丰富也更精彩的大模型世界。 ## 项目受众  本项目适合以下学习者： - 掌握了大模型的基本应用，想要学习原理，但不知从何开始 - 好奇心旺盛、求知欲强的同学，具备一定的学习热情的同学 - 对大模型的RAG、Agent、Eval任务感兴趣，并想要从原理层面了解 - 喜欢动手实践写代码，想要从零开始手写大模型的RAG、Agent、Eval任务 - 想要了解大模型的底层原理，提升自己的大模型技术水平   ***我们希望本项目能为广大学习者提供一个可以看得见、够得着、跟得上的大模型实践机会。让大家在实践中学习，不断提升自己的技术水平。***   ***我们希望为更多学习者打开 LLM 的神奇世界，以“知其然更知其所以然”的心态，搭建属于自己的“Tiny LLM Universe”。*** ## 项目亮点 - 本项目旨在全流程 **从零手搓** - 本项目包含LLM全流程，从Model，到RAG，Agent，Eval，打造LLM **全栈教程** - 区别于大型的算法包,我们的项目代码对初级开发者更 **简洁清晰** ，更"白盒子" - 后续会持续迭代更新项目，如动手训练一个 **Tiny-llama3** ，动手制作 **垂直领域数据集** 等等。 - 欢迎大家参与贡献哦，一起打造一个更好的LLM生态！ ## *News* - ***2025.8.12：发布TinyGraphRAG，从零上手GraphRAG！*** - ***2024.12.25：TinyDiffusion，从零上手Diffusion震撼发布！两小时完成图像生成预训练！*** - ***2024.10.28：TinyLlama3，从零上手Llama预训练到加载模型推理，2G显存即可完成！*** - ***2024.6.26：增加选修内容——高考数学评测，使TinyEval接入高考题目评测！！*** - ***2024.5.20：增加选修内容——Tiny Transformer，纯手工搭建 Transformer 模型*** - ***2024.5.1：发布 Tiny-Universe V1 版本，劳动节帕鲁献礼！*** ## 项目结构 ### [*TinyGraphRAG*](./content/TinyGraphRAG/)   GraphRAG 作为近年来新兴的检索增强生成（RAG）技术，将图结构与大语言模型相结合，在复杂关系推理、知识关联检索等任务中展现出强大的能力。然而，对于初学者来说，GraphRAG 的概念体系庞杂，涉及图数据库、向量检索、图算法与LLM协同等多个环节，从原理到落地实现存在较高的理解门槛。   ***本项目手工搭建了一个最简化版本的 GraphRAG 系统，从原理公式与架构图出发，对应到具体的图构建、检索、推理与生成代码实现，旨在帮助学习者更直观地理解 GraphRAG 的工作机制，掌握数据准备、查询处理、生成整合的完整流程