开源推荐
morning
GitHub 热门项目:GPTFast
2026-07-02
1 阅读
约7分钟阅读
GitHub Trending
字号:
GitHub 项目:GPTFast
仓库地址:https://github.com/MDK8888/GPTFast
星级:683 | 作者:MDK8888
项目描述:将你的拥抱变形金刚加速 7.6-9 倍。原生于 Hugging Face 和 PyTorch。
===================================================
自述文件内容:
#GPTFast
使用 GPTFast 将您的拥抱脸部变形金刚加速 7.6-9 倍!
# 背景
[GPTFast](https://github.com/pytorch-labs/gpt-fast)最初是PyTorch团队开发的一套技术,用于加速Llama-2-7b的推理速度。这个 pip 包将这些技术推广到所有 Hugging Face 模型。
# 演示
GPTFast 推理时间|Eager 推理时间
--|--
 |
# 路线图
- ⟳ 0.7.x (xx/xx/xx):美杜莎、推测采样、鹰
- ⟳ 0.6.x (xx/xx/xx):BitNet 和 1 位量化、AWQ、QoQ、GGUF、HQQ
- ⟳ 0.5.x (xx/xx/xx):PagedAttention (vLLM) + FlashAttention 集成
- ⟳ 0.4.x (xx/xx/xx):张量并行+GPU分布式推理
- ✅ 0.3.x (06/20/24):为所有 HF 模型启用 GPTQ int4 量化和优化的 int4 matmul 内核(**9 倍推理加速**)
- ✅ 0.2.x (04/02/24):为所有 HF 模型启用静态键值缓存(**8.5 倍推理加速**)
- ✅ 0.1.x (02/22/24):torch.compile、int8 量化、推测解码(**7 倍推理加速**)
# 开始使用
## 警告:以下文档现已在版本 0.3.0 中弃用。新文档即将发布! ##
* 确保您的 python 版本 >= 3.10,并且您使用的是支持 cuda 的设备。
* 在您的计算机上创建一个虚拟环境并激活它。
````bash
$python3 -m venv VENV_NAME
source VENV_NAME/bin/activate #./VENV_NAME/scripts/activate 如果您使用的是 Windows
````
* 调用以下命令:```pip install gptfast```
* 将以下代码复制到python文件中:
````蟒蛇
导入操作系统
进口火炬
从 Transformer 导入 AutoTokenizer
从 GPTFast.Core 导入 gpt_fast
从 GPTFast.Helpers 导入定时
torch._dynamo.reset()
os.environ["TOKENIZERS_PARALLELISM"] = "假"
设备=“cuda”如果torch.cuda.is_available()否则“cpu”
def argmax_variation(self, 概率:torch.Tensor, 温度:float = 1, k:int = 5):
# 应用温度缩放
设备 = 概率.设备
缩放概率 = 概率 / 温度
# 确保k在有效范围内
k = min(k, 概率.size(-1))
# 获取指定维度上前 k 个缩放概率的索引
top_k_indices = torch.topk(scaled_probabilities, k, dim=-1).indices
# 生成随机索引进行采样
random_indices = torch.randint(0, k, (1,) * probabilities.dim()).to(device)
# 使用收集的索引来获取最终的采样令牌
sampled_token = top_k_indices.gather(-1, random_indices).to(设备)
返回sampled_token.unsqueeze(0)
def argmax(自身,概率):
# 使用argmax获取最大的token
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱