GardenBench：LLM能力的轻量级日常评估

arXiv:2610.23866v1 公告类型：新 摘要：我们推出 GardenBench，这是一个包含 11 个测试套件的基准测试，用于评估大型语言模型 (LLM) 在一系列任务中的能力。通过系统地向法学硕士提出各种轻量级查询，我们记录了模型性能的日常变化，包括其他基准测试所遗漏的运行成本和时间。这使我们能够比较不同模型提供者和版本的响应的准确性和特征。我们考虑模型准确性的日常变化，捕获模型的进度和退化，例如，当模型在部署后更改或发布新模型时。我们的评估基于通用任务，并通过实时仪表板公开我们的结果，使现有的 LLM 测试方法多样化。我们的主要贡献是一个创新、轻量且廉价的基准，旨在面向消费者并用于日常任务。