【导语】：SkyAR 是一种基于视觉的视频天空置换和协调方法，将某个视频中的真实天空背景，通过 AI 替换成类似科幻片中的电影场景，效果非常震撼。
简介
SkyAR 是一种基于视觉的视频天空置换和协调方法,可以在可控风格的视频中自动生成逼真和生动的天空背景，作者是Zhengxiao Zou。该方法是完全基于视觉的，可以处理非静态图像，而且对拍摄设备没有任何要求，也没有用户交互，可以很好地处理在线或离线视频。这个算法的处理过程主要包括天空渲染、运动估计和图像混合。
项目地址
https://github.com/jiupinjia/SkyAR
下载安装
1.安装以下依赖库
2.下载项目源码
git clone https://github.com/jiupinjia/SkyAR.git
cd SkyAR
3．下载预训练模型并解压（国内需要木弟子）
https://drive.google.com/file/d/1COMROzwR4R_7mym6DL9LXhHQlJmJaV0J/view?usp=sharing
unzip checkpoints_G_coord_resnet50.zip
简单使用
我们直接使用项目提供的视频和天空模板进行体验：
1. 使用影片《第九区》中的飞船做天空背景模板
python skymagic.py --path ./config/config-canyon-district9ship.json
效果如下：
2.使用超级月亮做天空背景模板
python skymagic.py --path ./config/config-annarbor-supermoon.json
效果如下：
修改配置使用自定义视频和天空模板
在config目录下，有一些json格式的配置文件，我们可以根据自己的情况更改视频和天空模版，以修改 config-canyon-galaxy.json 为例：
{
"net_G": "coord_resnet50",
"ckptdir": "./checkpoints_G_coord_resnet50",
"input_mode": "video",
"datadir": "./test_videos/annarbor.mp4",
"skybox": "floatingcastle.jpg",
"in_size_w": 384,
"in_size_h": 384,
"out_size_w": 845,
"out_size_h": 480,
"skybox_center_crop": 0.5,
"auto_light_matching": false,
"relighting_factor": 0.8,
"recoloring_factor": 0.5,
"halo_effect": true,
"output_dir": "./eval_output",
"save_jpgs": false
}
ckptdir 为预训练模型文件解压后的目录，datadir 为输入视频的目录，skybox 为使用的天空模版，生成效果视频保存到 output_dir 目录中。
修改好配置文件，使用以下命令直接运行：
python skymagic.py --path .\config\config-canyon-galaxy.json
使用浮动的城堡为天空背景，效果如下：
官网有相关的官方视频可供欣赏，感兴趣的同学可以试试。
开源前哨日常分享热门、有趣和实用的开源项目。参与维护 10万+ Star 的开源技术资源库，包括：Python、Java、C/C++、Go、JS、CSS、Node.js、PHP、.NET 等。
