“魔术的背后 让移动的照片成为现实”

进出这些照片的人曾经为哈利·波特的世界保存过。 但是，现在华盛顿大学的计算机科学家把这种魔力带入了现实生活。

他们的算法，photo wake-up，可以从2d照片和艺术作品中获取身体，然后跑、走、跳出画面。 在该系统中，还可以使用增强现实工具三维观看动画。 研究人员将在6月19日于加州长滩召开的计算机视觉和模式识别会议上展示他们的成果。 这项研究于12月在arxiv上以预印形式发表时，首次受到媒体的关注。

这是计算机视觉中一个非常困难的根本问题，共同作者美国威斯康星大学paul g. allen计算机科学工程学院副教授ira kemelmacher-shlizerman表示。 这里的一个大课题是输入只能来自一个摄像机的位置。 因为这部分人看不见。 我们的工作结合了现场开放性问题的技术进步和艺术创造力的可视化。

以前，研究者认为用一张照片制作一个人的视频是不可能的。

在以前的作品中，我试图使用多个视点来制作3d角色。 艾伦学院教授、共同作者brian curless说。 但是，你还不能让别人生活，也不能让他们离开场景，但不能带ar进来。 令人惊讶的是，我们只需要一张照片就能得到一点令人信服的结果。

据该小组称，photo wake-up的应用较多。 研究人员认为，这可以为游戏玩家创造一种实际上看起来像他们的头像的新方法。 也可以让游客和艺术博物馆的绘画交流，比如坐下来和蒙娜丽莎喝茶，或者让孩子们把绘画带入生活。 研究论文的例子包括动画金州勇士队的斯蒂芬·库里出去了，保罗·麦卡特尼出来帮忙的封面。 专辑和马蒂斯的伊卡洛斯离开了他的影像。

为了将魔法变为现实，photo wake-up首先识别图像中的人物，制作身体轮廓的面具。 然后，将3d模板与主体的身体位置对齐。 然后算法做了惊人的事。 为了使模板变形，使其看起来像照片中的人，将3d人物投影到2d上。

准确操作3d不太容易，但合作作者艾伦学院的博士生陈义文说。 这也许可以粗略地做一下，但是如果把角色做成动画，任何错误都会暴露出来。 所以，我们必须找到完美解决事情的方法，同时必须用2d更容易地实现它。

photo wake-up存储每个像素的3d新闻。 与照相机和艺术家的距离以及人的关节是如何连接的。 如果模板扭曲以适合人类的形状，则算法会粘贴到纹理中。 是图像的颜色。 另外，使用来自图像和3d模板的新闻生成人的背部。 然后，工具将两侧缝合，形成可以转身的3d人物。

当3d角色准备运行时，算法必须设置背景，以确保角色不会保留空的白色区域。 照片的觉醒借着图片其他部分的新闻来填补人背后的漏洞。

现在，photo wake-up非常适合面向前方的人物的图像，可以制作实际人物的艺术创作和照片的动画。 该算法还可以解决一点人手臂阻挡他们身体部分的照片，但不能解决任何腿交叉或阻挡自己大部分人的动画。

的觉醒是与照片交流的新方法，翁说。 虽然还不能做什么，但这只是开始。

这项研究由国立科学基金会、威斯康星大学动画研究所、威斯康星研究所、脸书、华为和谷歌资助。

本文：《“魔术的背后 让移动的照片成为现实”》