机器之心报道
机器之心编辑部
看过宫崎骏动画电影《天空之城》的小伙伴，想必偶尔会向往那座神秘的空中岛屿拉普达吧。近日，密歇根大学安娜堡分校博士后研究员ZhengxiaZou进行了一项研究，不仅可以创建空中堡垒，更可以转变场景中的天气和光照，让你有身临其境的感觉。此外，这项研究完全基于视觉，能够很好地应用于在线或离线场景，且可以执行实时处理。
哈尔的移动城堡？天空之城？这幅图是否让你想起了这两部电影中的场景……上：《天空之城》剧照；下：《哈尔的移动城堡》剧照。是电影场景变为现实了吗？真的有人建造了一座空中楼阁？答案是也不是。
这座空中城堡的确是人为「构建」的，但并非真实存在。它是密歇根大学博士后研究员ZhengxiaZou近期一项研究所呈现的效果。
荒野、公路、疾驰的汽车，还有天边的巨型神秘建筑物，有科幻/末世电影内味儿了。然而，这幅场景竟然是从晴空万里的画面转换而成的。公路片变身科幻片？！别急，还有大招。（以下示例左图为原始画面，右图为处理后画面。）
右图场景是不是更像《天空之城》了？这场景让人想起一句歌词「打开这深夜，抚摸寒星光，我只想走进圆月亮」。除了改变天空（比如增加悬浮城堡、改变色彩和云朵等），这项技术还能变换场景中的天气和光照。
今日天气多云转晴。雷暴预警！一瞬间天昏地暗，雷电交加。看起来，这项技术似乎都可以用到电影业了。那它是如何做到的呢？
这项研究提出一种用于视频中天空置换与协调的视觉方法，该方法能够在风格可控的视频中自动生成逼真的天空背景。以往的天空编辑方法要么针对静态图片，要么需要在智能手机上集成惯性测量单元（IMU）以便拍摄视频，而这项研究是完全基于视觉的，对视频捕获设备没有任何要求，还能很好地应用于在线或离线场景。此外，该方法可以执行实时处理，无需用户交互。
研究人员将这个艺术加工过程分解成3个任务：天空抠图（skymatting）、运动估计和图像融合，并在智能手机和行车记录仪在户外采集到的视频上进行了实验，结果表明该方法在视觉质量以及光照、动态方面均具有高保真度和不错的泛化性。
论文
转载请注明：http://www.0431gb208.com/sjszlfa/8102.html
