尝试 gpt-oss · 指南 · 模型卡 · OpenAI 博客
在 Hugging Face 上下载 gpt-oss-120b 和 gpt-oss-20b
欢迎来到 gpt-oss 系列,[OpenAI 的开放权重模型](https://openai.com/open-models/) 专为强大的推理、代理任务和多功能开发人员用例而设计。 我们将发布两种开放模型: - `gpt-oss-120b` — 用于生产、通用、高推理用例,适合单个 80GB GPU(如 NVIDIA H100 或 AMD MI300X)(117B 参数和 5.1B 活动参数) - `gpt-oss-20b` — 用于较低延迟、本地或特殊用例(21B 参数和 3.6B 活动参数) 这两个模型均使用我们的[和谐响应格式][和谐]进行训练,并且只能与此格式一起使用;否则,它们将无法正常工作。 ## 目录 - [亮点](#highlights) - [推理示例](#inference-examples) - [关于此存储库](#about-this-repository) - [设置](#setup) - [下载模型](#download-the-model) - [参考 PyTorch 实现](#reference-pytorch-implementation) - [参考 Triton 实现(单 GPU)](#reference-triton-implementation-single-gpu) - [参考金属实现](#reference-metal-implementation) - [Harmony 格式和工具](#harmony-format--tools) - [客户](#客户) - [工具](#tools) - [其他详细信息](#other-details) - [贡献](#contributing) ### 亮点 - **宽松的 Apache 2.0 许可证:** 自由构建,没有版权限制或专利风险 - 非常适合实验、定制和商业部署。 - **可配置的推理工作:** 根据您的特定用例和延迟需求轻松调整推理工作(低、中、高)。 - **完整的思想链:** 提供对模型推理过程的完整访问,促进更轻松的调试和对输出的更大信任。此信息无意向最终用户显示。 - **可微调:** 通过参数微调,根据您的特定用例完全自定义模型。 - **代理功能:** 使用模型的本机功能进行函数调用、[网页浏览](#browser)、[Python 代码执行](#python) 和结构化输出。 - **MXFP4 量化:** 使用 MoE 权重的 MXFP4 量化对模型进行后训练,使“gpt-oss-120b”在单个 80GB GPU(如 NVIDIA H100 或 AMD MI300X)上运行,而“gpt-oss-20b”模型在 16GB 内存中运行。所有评估均使用相同的 MXFP4 量化进行。 ### 推断