首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

GitHub 热门项目:GPTFast

2026-07-02 1 阅读 约7分钟阅读 GitHub Trending
分享:
字号:
GitHub 项目:GPTFast 仓库地址:https://github.com/MDK8888/GPTFast 星级:683 | 作者:MDK8888 项目描述:将你的拥抱变形金刚加速 7.6-9 倍。原生于 Hugging Face 和 PyTorch。 =================================================== 自述文件内容: #GPTFast 使用 GPTFast 将您的拥抱脸部变形金刚加速 7.6-9 倍! # 背景 [GPTFast](https://github.com/pytorch-labs/gpt-fast)最初是PyTorch团队开发的一套技术,用于加速Llama-2-7b的推理速度。这个 pip 包将这些技术推广到所有 Hugging Face 模型。 # 演示 GPTFast 推理时间|Eager 推理时间 --|-- ![](https://github.com/MDK8888/GPTFast/assets/79173446/4d7ed04e-ba3d-49c7-aeca-8f2b96ac45a8) |![](https://github.com/MDK8888/GPTFast/assets/79173446/1a4f2236-d2f4-42c7-a689-553482871905) # 路线图 - ⟳ 0.7.x (xx/xx/xx):美杜莎、推测采样、鹰 - ⟳ 0.6.x (xx/xx/xx):BitNet 和 1 位量化、AWQ、QoQ、GGUF、HQQ - ⟳ 0.5.x (xx/xx/xx):PagedAttention (vLLM) + FlashAttention 集成 - ⟳ 0.4.x (xx/xx/xx):张量并行+GPU分布式推理 - ✅ 0.3.x (06/20/24):为所有 HF 模型启用 GPTQ int4 量化和优化的 int4 matmul 内核(**9 倍推理加速**) - ✅ 0.2.x (04/02/24):为所有 HF 模型启用静态键值缓存(**8.5 倍推理加速**) - ✅ 0.1.x (02/22/24):torch.compile、int8 量化、推测解码(**7 倍推理加速**) # 开始使用 ## 警告:以下文档现已在版本 0.3.0 中弃用。新文档即将发布! ## * 确保您的 python 版本 >= 3.10,并且您使用的是支持 cuda 的设备。 * 在您的计算机上创建一个虚拟环境并激活它。 ````bash $python3 -m venv VENV_NAME source VENV_NAME/bin/activate #./VENV_NAME/scripts/activate 如果您使用的是 Windows ```` * 调用以下命令:```pip install gptfast``` * 将以下代码复制到python文件中: ````蟒蛇 导入操作系统 进口火炬 从 Transformer 导入 AutoTokenizer 从 GPTFast.Core 导入 gpt_fast 从 GPTFast.Helpers 导入定时 torch._dynamo.reset() os.environ["TOKENIZERS_PARALLELISM"] = "假" 设备=“cuda”如果torch.cuda.is_available()否则“cpu” def argmax_variation(self, 概率:torch.Tensor, 温度:float = 1, k:int = 5): # 应用温度缩放 设备 = 概率.设备 缩放概率 = 概率 / 温度 # 确保k在有效范围内 k = min(k, 概率.size(-1)) # 获取指定维度上前 k 个缩放概率的索引 top_k_indices = torch.topk(scaled_probabilities, k, dim=-1).indices # 生成随机索引进行采样 random_indices = torch.randint(0, k, (1,) * probabilities.dim()).to(device) # 使用收集的索引来获取最终的采样令牌 sampled_token = top_k_indices.gather(-1, random_indices).to(设备) 返回sampled_token.unsqueeze(0) def argmax(自身,概率): # 使用argmax获取最大的token
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱