眼见不为实,视频换脸原理
分类:牛彩互联网

原标题:视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV 2018

(一)获取数据(人脸)

本文申请区块链研习社优质内容支持计划

圆栗子 发自 凹非寺

需要准备图片数据:两个不同的人脸,各种表情,数量越多越好,约1万张以上会有比较好的替换效果。

本文由币乎社区(bihu.com)内容支持计划赞助

图片 1

一般采用的方法是从视频中截取,操作如下:


把一段视频里的面部动作,移植到另一段视频的主角脸上。

首先下载视频(本例用风行播放器下载)。

前段时间大热的Oben PAI项目,仅凭一张照片就能生成三维头像。

大家可能已经习惯这样的操作了。

图片 2

图片 3

图片 4

剪切视频片段(本例用爱剪辑)。

今天介绍的Deepfakes,是通过人工智能实现了视频换脸普通人使用高端游戏显卡就能完成 《速度与激情7》中的换脸技术。(因为主演意外离世《速度与激情7》剧组被迫使用过换脸技术。)

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

因为目的是为了截取人脸部,所以剪切的视频片段很讲究。

图片 5

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

视频分辨率要高清(否则截取的人脸像素太低);片段中目的人脸比较大、突出、最好就是只有他自己一个人镜头特写的视频片段。

速度与激情7的换脸技术

图片 6

图片 7

图片 8

按着你想要的节奏开花:中老年表情包利器

从视频中截取图片(本例用Ffmpeg软件)。

Deepfakes技术展示

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

此时得到有目的人脸的一张张图片。

图片 9

图片 10

然后,需要删除不需要的图片(如有非目的人脸的,这就是数据清洗)。

超人:钢铁之躯

云,也变得急切了

图片 11

图片 12

或许是怀着超越大前辈Cycle-GAN(来自朱俊彦团队) 的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

然后写几行代码检测图片中的人脸并截取(利用OpenCV)。

尼古拉斯·凯奇

这位选手,入选了ECCV 2018

图片 13

图片 14

Recycle之道,时间知道

检测并截取的人脸(用于输入到神经网络中训练提取特征)。

夺宝奇兵

Recycle-GAN,是一只无监督学习的AI。

人脸替换的效果非常依赖于这些截取到的人脸图片的质量:

图片 15

不成对的二维图像数据,来训练视频重定向(Video Retargeting) 并不容易:

如果截取的人脸包含了过多的干扰部分,那么替换效果就很差。


一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值 (Bad Local Minima) 而影响生成效果。

一直重复前面的步骤,直到获取足够多的人脸(两个需要互换的人脸)。

Oben PAI 让明星们拥有虚拟分身,在粉丝的手机里唱歌跳舞。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

图片 16

Deepfakes 则更干脆,以后拍电影全程用替身,明星都不用到场了

图片 17

然后再写几行代码修改人脸图片的宽高为统一大小,如256x256;

当然,即使不想拍的内容,也拦不住网友们恶搞。被恶搞最多是特朗普、 尼古拉斯·凯奇。很快,会有更多人以自己意想不到的方式出现在屏幕上,真假难辨。所以眼见也不一定为实。

你开花,我就开花

因为输入到神经网络中训练的图片宽高需要一致。

我们正处在一个盛产重混产品的时期。创新者将早期简单的媒介形式与后期复杂的媒介形式重新组合,产生出无数种新的媒介形式。新的媒介形式越多,我们就越能将它们重混成更多可能的更新型媒介形式。

重混 ------ 对已有事物的重新排列和再利用,对传统的财产观念和所有权概念产生了巨大的破坏。

  • 《必然》凯文·凯利
这两个好玩的项目都在预示着,AI离我们越来越近...

针对这两个问题,CMU团队提出的方法,是利用时间信息(Temporal Information) 来施加更多的限制,不良局部极小值的现象会减少。

图片 18

知乎问答(18禁就不放链接了):
如何评价deepfakes用深度学习技术所合成的明星AV?

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

(二)进行模型训练

deepfakes项目的Reddit:
https://www.reddit.com/user/deepfakes/

图片 19

接下来,开始进行漫长的训练:

deepfakes的一些代码:
https://github.com/joshua-wu/deepfakes_faceswap

时间信息:进度条撑不住了 (误)

一般需要,一万张图片,训练100万次,才有比较好的替换效果;

图片 20

重要的是,视频里的时间信息唾手可得,无需寻觅。

我计算了一下时间,普通i7-PC,训练一次约44s,100万次需要运行约1.2万小时,约500天;玩不起(本例训练了1000次)。

007

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

深度学习漫长的训练过程;

本文由牛彩彩票官网发布于牛彩互联网,转载请注明出处:眼见不为实,视频换脸原理

上一篇:名字叫林宇,未收取扶协助调查明须求 下一篇:前工程师称Apple,为乔布斯演示iPad的demo是怎样一
猜你喜欢
热门排行
精彩图文