首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

Show HN:用于使用嵌入模型检测不精确代码重复的 CLI 工具

2026-07-02 1 阅读 约6分钟阅读 rkochanowski
分享:
字号:
Slopo 一种轻量级 CLI 工具,用于使用嵌入模型检测不精确的代码重复。它专注于最难检测且最有害的相似代码:类似编写的代码片段在代码库中相距很远,通常分布在不同的模块中或分隔在一个大文件中。其他工具很容易发现精确的复制粘贴,人类或人工智能也很容易发现靠近的重复项。有关问题的更高级描述,请参阅 slopo.dev 。支持的语言 Python、TypeScript、JavaScript、Java、Kotlin、C#、Go、Rust 工作原理 它采用与典型重复检测不同的方法。对于每个代码单元,它计算嵌入,然后查找嵌入接近的对。类似的代码不一定是重复的,因此每一对都可能是重复的,需要确认。执行相同操作但以完全不同的方式实现的代码会产生远程嵌入,并且不会被检测到。结果是相似代码单元的簇,按代码库中的相似性和距离进行排名。这些集群可以作为 AI 编码代理的输入,它可以检查集群是否是真正的重复项。已审查的集群可以标记为忽略或继续进行重构。示例报告 请参阅从 Slopo 代码、 src 目录、 git tag v0.2.0 生成的 doc/example-report 。这个例子证实了每种语言的代码解析器都有很多重复,有些是精确复制,有些是相似的变体。它需要重构。快速入门 安装 uv 工具 install slopo 此命令使用 uv(安装 uv )(一个 Python 包管理器)在隔离的虚拟环境中从 PyPI 安装 Slopo。无需单独获取Python。设置 运行 slopo init 创建包含进一步说明的配置文件模板。只需要包含用于分析和嵌入模型配置的代码的目录。嵌入模型嵌入是使用外部提供者计算的。为了获得最佳结果,请考虑专用于代码的模型,例如Voyage AI(它在像 512 这样的低维度上工作得很好)。您可以使用与 LiteLLM 兼容的任何模型提供程序,请参阅此处的详细信息。可以将提供程序 API 密钥设置为环境变量以提高安全性。分析 运行 slopo show-config 来验证您的配置并显示所有可配置参数,大多数参数都是可选的,具有合理的默认值。现在您已准备好索引代码、计算嵌入并生成报告: slopo index slopo embed slopoanalyze 真实工作流程 本节演示如何在真实开发工作流程中使用 Slopo。它利用增量重新索引(仅更新已更改文件的索引)和 slopo.ignore.txt 来丢弃已审查的集群。创建您的第一个分析并检查结果。您会注意到 index.md 包含所有集群的列表以及每个文件的集群详细信息。您可能想要排除某些目录或文件模式,通常排除测试是一个好主意。如果结果太大或太小,您还可以调整阈值。对分析结果感到满意后,请让您的 AI 编码代理过滤掉不是真正重复的簇。这是一种常见情况,因为并非每个相似的代码都是重复的。要求 AI 代理将丢弃的集群哈希添加到 slopo.ignore.txt 。重新运行分析以生成未审查集群的报告。这是重构的基础,可以由人工智能代理完成。忽略文件可以提交到您的 Git 存储库并跨团队重用。新的和修改的集群将重新出现在报告中。也可以提交没有 API 密钥的配置文件。不要提交 slopo.db ,这是您的本地数据。配置 运行 slopo --help 和 slopo show-config 即可随时自行探索。大多数配置都是通过配置文件完成的,但有两个例外: 配置文件的位置可以使用 --config 选项覆盖。 API 密钥可以使用 SLOPO_EMBEDDING_API_KEY 环境变量进行设置,该变量也是从当前目录中的 .env 文件中获取的。请注意,某些参数在首次索引后无法更改。您需要从头开始删除 slopo.db 和 index/embed : source_dir 、 embedding_model 、 embedding_dimensions 、 body_node_count_threshold 。所有可配置参数 source_dir :包含要索引的代码的源目录、绝对或相对路径。 source_dir_exclude :从索引中排除的 .gitignore 样式模式。 db_file :包含工具数据的 SQLite 数据库文件。 report_dir :分析报告的输出目录。 ignore_file :包含忽略簇的文本文件。 embedding_model :LiteLLM 格式的嵌入模型名称。 embedding_dimensions :与使用的模型兼容的嵌入尺寸。 embedding_api_key :嵌入提供程序的 API 密钥。如果配置了环境变量,则可选。 embedding_batch_size 和 embedding_batch_chars :对嵌入 API 的请求进行批处理以提高性能。对于大多数情况,默认值就可以了。相似度阈值:控制最小
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱