GitHub 热门项目：OpenMythos

GitHub 项目：OpenMythos 仓库地址：https://github.com/kyegomez/OpenMythos 星级：14797 | 作者：基戈麦斯项目描述：利用现有的研究文献，根据第一原理对克劳德神话架构进行理论重建。 =================================================== 自述文件内容： # 开放神话 <图片>

<图片>

> **免责声明：** OpenMythos 是一个独立的、社区驱动的理论重构，仅基于公开的研究和推测。它不隶属于 Anthropic 或其任何专有系统，也不受其认可或连接。 OpenMythos 是 Claude Mythos 模型的开源理论实现。它实现了一个具有三个阶段的循环深度变换器 (RDT)：**Prelude**（变换器块）、循环**循环块**（高达 `max_loop_iters`）和最终 **Coda**。注意力可以在 MLA 和 GQA 之间切换，前馈使用带有路由和共享专家的稀疏 MoE，非常适合探索计算自适应、深度可变推理。 ## 安装 ````bash pip 安装 open-mythos #uv pip install open-mythos ```` 要在`GQAttention`中启用Flash Attention 2（需要CUDA和构建工具）： ````bash pip install open-mythos[flash] ```` ## 用法 ````蟒蛇进口火炬从 open_mythos.main 导入 OpenMythos、MythosConfig attn_type = "mla" # 或 "gqa" 基数={ “词汇大小”：1000， “昏暗”：256， “n_heads”：8， “最大序列长度”：128， “最大循环次数”：4， “前奏_层”：1， “coda_layers”：1， “n_专家”：8， “n_shared_experts”：1， “n_experts_per_tok”：2， “专家昏暗”：64， “lora_rank”：8， “attn_type”：attn_type， } 如果 attn_type == "gqa": cfg = MythosConfig(**base, n_kv_heads=2) 其他： cfg = 神话配置( **基地， n_kv_头

订阅66必读