GitHub 热门项目：SpaTracker

GitHub 项目：SpaTracker 仓库地址：https://github.com/henry123-boy/SpaTracker 星级：1043 | 作者：henry123-boy 项目描述：[CVPR 2024 亮点] SpatialTracker 的官方 PyTorch 实现：跟踪 3D 空间中的任何 2D 像素 =================================================== 自述文件内容： [](https://arxiv.org/abs/2404.04319) # SpatialTracker：跟踪 3D 空间中的任何 2D 像素  > [**SpatialTracker：跟踪 3D 空间中的任何 2D 像素**](https://henry123-boy.github.io/SpaTracker/), > 肖雨曦\*、王倩倩\*、张尚展、薛楠、彭思达、沉雨君、周小伟、 > CVPR 2024，亮点 > *论文位于 [arxiv](https://arxiv.org/abs/2404.04319)* ## SpatialTrackerV2 已推出！！！🎉🎉🎉 SpatialTrackerv2 是一个统一模型，可以同时产生一致的深度、相机姿态和像素级 3D 跟踪，比 V1 实现 100% 的改进。网页在这里 [SpatialTrackerV2](https://spatialtracker.github.io/) ## 新闻和待办事项 - [x] `07.08.2025`：SpatialTracker-v2 已推出！！！尝试一下：🤗[Huggingface Space](https://huggingface.co/spaces/Yuxihenry/SpatialTrackerV2)。 - [x] 发布 SpatialTracker 推理代码和检查点。 - [x] `05.04.2024`：SpatialTracker 被选为亮点论文！ - [x] `26.02.2024`：SpatialTracker 在 CVPR 2024 上被接受！ ## 要求 推理代码经过测试 * 乌班图20.04 *Python 3.10 * [PyTorch](https://pytorch.org/) 2.1.1 * 1 个 NVIDIA GPU (RTX A6000)，带有 CUDA 版本 11.8。 （其他 GPU 也适用，22GB GPU 内存足以使用我们的代码进行密集跟踪（约 10k 点）。） ### 设置环境 ````外壳 conda create -n SpaTrack python==3.10 conda 激活 SpaTrack ```` ### 安装 PyTorch ````外壳 pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1 --index-url https://download.pytorch.org/whl/cu118 ```` ### 其他依赖项 ````外壳 pip install -r 要求.txt ```` 注意：请遵循`requirements.txt`中的依赖版本，以避免潜在的冲突。 ## 深度估计器 在我们的默认设置中，需要单目深度估计器来从视频输入获取度量深度。有多种模型可供选择（[ZoeDepth](https://github.com/isl-org/ZoeDepth)、[Metric3D](https://github.com/YvanYin/Metric3D)、[UniDepth](https://github.com/lpiccinelli-eth/UniDepth) 和 [DepthAnything](https://github.com/LiheYoung/Depth-Anything))。 我们将 ZoeDepth 作为默认模型。 **下载** `dpt_beit_large_384.pt`、`ZoeD_M12_K.pt`、`ZoeD_M12_NK.pt` 到 `models/monoD/zoeDepth/ckpts` 中。 ## 数据 我们的方法支持 **`RGB`** 或 **`RGBD`** 视频输入。我们在 [Goolge Drive](https://drive.google.com/drive/folders/1UtzUJLPhJdUg2XvemXXz1oe6KUQKVjsZ?usp=sharing) 上提供“检查点”和“example_data”。请下载 `spaT_final.pth` 并将其放入 `./checkpoints/` 中。 ### RGB 视频 对于“example_data”，我们提供“butterfly.mp4”和“butterfly_mask.png”作为示例。将 `butterfly.mp4` 和 `butterfly_mask.png` 下载到 `./assets/` 中。并运行以下命令： ````外壳 python demo.py --model spatracker --downsample 1 --vid_name蝴蝶 --len_track 1 --fps_vis 15 --fps 1 --grid_size 40 --gpu ${GPU_id}