本教程使用的环境及版本
- 操作系统：Ubuntu 18.04.5（无GUI）
- GPU：RTX 3090
- cuda：11.3
- cmake：3.24
- GCC：7.5
- G++：7.5
- python：3.9
- OptiX：7.5
- COLMAP
Instant-ngp linux环境部署
参考地址：https://www.jianshu.com/p/02c3d3cce99b
Instant-ngp官方文档地址
https://github.com/NVlabs/instant-ngp/blob/master/docs/nerf_dataset_tips.md
目的
- linux 完成自有数据集训练及模型导出
问题说明
- 非GUI环境下，执行以下命令后，训练不会停止，需要手动取消。
./build/testbed --no-gui --scene data/nerf/fox
- 非GUI环境下，继续后续步骤。生成 obj 或 ply 格式文件导出，用于后续使用
自有图片数据集训练思路
- 拿到图片，跑colmap先做稀疏重建，拿到相机信息和一些图片的位姿信息，得到一个transform.json文件
- 使用transform.json进行训练
安装python运行环境
- 使用cond安装虚拟环境，并安装相关依赖
conda create -n ngp python=3.9
conda activate ngp
pip install -r requirements.txt
COLMAP稀疏重建生成transform.json
- 1.创建自己的数据集文件夹：toy_truck
- 2.把拍摄好的图片放入数据集文件夹中
- 3.上传自己的数据集到 instant-ngp/data/ 目录下
目录结构如下：
📂instant-ngp/ # this is root
├── 📂data/
│ ├── 📂toy_truck/
│ │ ├── 📜toy_truck_001.jpg
│ │ ├── 📜toy_truck_002.jpg
│ │ │...
│ │...
│...
- 4.在instant-ngp目录中执行以下命令生成transform.json
# --images <image/path> 替换为自己的数据集目录
python scripts/colmap2nerf.py --colmap_matcher exhaustive --run_colmap --aabb_scale 16 --images data/toy_truck
- 5.以上命令执行完成后会在instant-ngp目录中生成transform.json文件
- 6.将transform.json 和 数据集 toy_truck 文件夹按照以下目录结构存放
📂instant-ngp/ # this is root
├── 📂data/
│ ├── 📂toy_truck/
│ │ ├── 📜transforms.json/
│ │ ├── 📂data/
│ │ │ ├── 📂toy_truck/
│ │ │ │ ├── 📜toy_truck_001.jpg
│ │ │ │ ├── 📜toy_truck_002.jpg
│ │ │ │ │...
│ │ │ │...
│ │ │...
│ │...
│...
导出模型文件（obj、ply）
- 1.在 instant-ngp 目录下创建用于保存导出文件的目录 saved
mkdir saved
- 2.执行以下命令，生成导出文件
python ./scripts/run.py --mode nerf --scene ./data/toy_truck --save_snapshot saved/toy_truck.msgpack --save_mesh saved/toy_truck.ply --gui --train
脚本 scripts/run.py 中有一个 save_mesh 参数，它支持 OBJ 和 PLY 格式。
注意：非GUI模式需要删除 --gui 参数
- 3.执行成功后会在 saved 目录中生成 toy_truck.msgpack 和 toy_truck.ply
toy_truck.msgpack 文件可用户导出图片和视频
导出图片
–scene 场景的路径
–mode 模式，选nerf即可
–load_snapshot 保存的训练好的模型
–screenshot_transforms 需要渲染的角度，数据结构和nerf的json格式一样
–screenshot_frames 渲染哪一帧，如果想全部渲染就不要这个参数，会默认渲染全部
–screenshot_dir 渲染好的图片存储的位置
–width 图片宽度
–height 图片高度
python scripts/run.py --scene data/toy_truck/ --mode nerf --load_snapshot saved/toy_truck.msgpack --screenshot_transforms data/toy_truck/transforms.json --screenshot_dir data/toy_truck/screenshot --width 2048 --height 2048 --n_steps 0
导出视频
- 下载rendervideo.py到项目scripts目录
链接: https://pan.baidu.com/s/1uxw5GL5TpU-FuHcH0RCYEg 密码: opfl
python scripts/rendervideo.py --scene data/toy_truck/ --n_seconds 10 --fps 60 --render_name toy_truck_video --width 1920 --height 1080 --msgpack_path /root/code/instant-ngp/saved/toy_truck.msgpack --transform_path /root/code/instant-ngp/data/toy_truck/transforms.json
视频数据集训练方式（一）
- 安装ffmpeg（数据集为视频时需要安装）
sudo apt update
sudo apt install ffmpeg
- 测试ffmpeg
ffmpeg -version
- 使用ffmpeg将视频处理为图片
####安装ffmpeg（数据集为视频时需要安装）
- 安装ffmpeg
sudo apt update
sudo apt install ffmpeg
- 测试ffmpeg
生成清晰无压缩的图片方式：
ffmpeg -i test.mp4 -r 10 -f image2 %05d.jpg
-i : 指定输入文件
-r : 帧数 10
-f : 指定格式化的格式为image2
image2后面跟着的是文件名
%5d：以为5位数按正序编号
视频数据集训练方式（二）框架脚本
- 上传视频到data目录
- 执行以下脚本生成transform.json
python scripts/colmap2nerf.py --video_in data/model1/model1.MOV --video_fps 2 --run_colmap --aabb_scale 16
colmap2nerf.py实现的效果是自动将视频分割成图片，然后调用colmap稀疏重建生成transform.json文件，最后执行即可
文献参考
https://github.com/NVlabs/instant-ngp/blob/master/docs/nerf_dataset_tips.md
https://github.com/bycloudai/instant-ngp-Windows
https://github.com/NVlabs/instant-ngp/discussions/412
https://blog.csdn.net/YuhsiHu/article/details/124891710
https://asea.fun/articles/74
