杨净 发自 凹非寺

量子位 报道 | 公众号 QbitAI

如何更顺滑的添加水印？

谷歌的这项新技术，让文本简直就像贴在地面上，哪怕是在沙尘横飞的场景里。

方法也很简单。

只需输入一段视频，和指定对象的粗略蒙版。

那这个对象的所有相关场景元素，都能解锁！

比如人和狗的影子。

还有黑天鹅缓缓拂过的涟漪~

以及上述那个赛车疾驰过后激起的沙尘。

不管是任意对象和主体，不论怎么移动，所有元素都能抠出来。

这就是谷歌最新的视频分层技术——omnimatte，入选CVPR 2021 Oral。

目前这项技术都已开源。

如何实现

计算机视觉在分割图像或视频中的对象方面越来越有效，然而与对象相关的场景效果。

比如阴影、反射、产生的烟雾等场景效果常常被忽略。

而识别这些场景效果，对提高AI的视觉理解很重要，那谷歌这项新技术又是如何实现的呢？

简单来说，用分层神经网络渲染方法自监督训练CNN，来将主体与背景图像分割开来。

由于CNN的特有结构，会有倾向性地学习图像效果之间的相关性，且相关性却强，CNN越容易学习。

输入一段有移动物体的视频，以及一个或者多个标记主体的粗略分割蒙版。

首先，使用现成的分割网络比如Mask RCNN，来讲这些主体分成多个遮罩层和背景噪声图层，并按照某种规则进行排序。

比如，在一个骑手、一辆自行车以及几个路人的场景中，就会把骑手和自行车归入一个层，把人群归入第二层。

omnimatte模型是一个二维UNet，逐帧处理视频。每一帧都用现成的技术来计算物体掩码，来标记运动中的主体，并寻找和关联蒙版中未捕捉到的效果，比如阴影、反射或者烟雾，重建输入帧。

为了保证其他静止的背景元素不被捕获，研究人员引入了稀疏损失。

此外，还计算了视频中每一帧和连续帧之间的密集光流场，为网络提供与该层对象相关的流信息。

最终生成Alpha图像（不透明度图）和RGBA彩色图像，尤其RGBA图像，简直可以说是视频/图像剪辑法宝！

目前这一技术已经开源，配置环境如下：

• Linux
• Python 3.6+
• NVIDIA GPU + CUDA CuDNN

有什么用途

技术效果如此，那有什么样的用途呢？

首先就可以复制或者删除图像。

还有顺滑地切换背景。

还可以实现这一经典操作，让原本依次掉水的小孩一起入水~

背后的团队

最后再来说一下背后的团队。

这项研究由谷歌研究院、牛津大学以及魏茨曼科学研究所共同完成。

其中，论文一作是牛津大学四年级博士生Erika Lu，曾是谷歌实习生，在麻省理工学院获得了计算机科学与工程学士学位。

论文链接：https://arxiv.org/pdf/2105.06993.pdf

参考链接：https://ai.googleblog.com/2021/08/introducing-omnimattes-new-approach-to.htmlhttps://github.com/erikalu/omnimattehttps://omnimatte.github.io/https://erikalu.com/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI

只需第一帧图像+边界提示，就能将视频中各物体“抠”出来并进行轨迹跟踪：

以上就是谷歌的最新研究成果。

该方法通过在视频中引入注意力机制，成功地解决此前采用了无监督学习的多目标分割和跟踪方法的一些不足。

现在的它，不仅可以泛化到更多样、视觉上更复杂的视频中，还能处理更长的视频序列。

通过实验还发现，相比此前的模型，谷歌这个新方法在MOVi数据集上的mIoU直接提高了近30%。

为“动态抠图”引入注意力机制

方法被命名为SAVi（Slot Attention for Video）。

而此前的无监督目标分割和跟踪方法最大的问题，就是只能应用到非常简单的视频上。

为了处理视觉效果更复杂的视频，SAVi采用弱监督学习：

（1）以光流（optical flow）预测为训练目标，并引入注意力机制；

（2）在第一帧图像上给出初始提示（一般是框出待分割物体，或者给出物体上单个点的坐标），进行分割指导。

具体来说，受到常微分方程的“预测-校正器”方法的启发，SAVi对每个可见的视频帧执行预测和校正步骤。

为了描述视频物体随时间变化的状态，包括与其它物体的交互，SAVi在进行光流预测时在slot之间使用自注意力。

slot就是指视频中各物体，用不同颜色区分。

校正阶段，带有输入的slot-normalized交叉注意用于校正（更新）slot表示集。

然后预测器的输出根据时间来初始化矫正器，使模型最终能够以一致的方式随时间跟踪物体。

△ SAVi模型架构图

在训练中，每个视频被分成六个6帧子序列，第一帧接收提示信号，每帧两轮slot注意力。

在完全无监督视频分割中，研究人员以64的batch size训练了十万步。

没有提示，也能进行简单视频的分割和跟踪

在CATER数据集上，测试表明，SAVi架构完全适用于无监督的物体表示学习。

在光流条件监督的情况下，SAVi在MOVi数据集上获得72.1%的mIoU，比基线模型CRW和T-VOS分别高了近30%和近20%。

SAVi在MOVi++数据集上的mIoU得分为45.9%，比T-VOS略高一点，比CRW低了5%。

另外，还可以看到，在第一帧图像上给出质心形式的提示效果会比边界框好一点，但区别不大。

值得注意的是，即使没有任何提示，该方法也能分割一些具有简单纹理的动态场景，比如在数据集Sketchy上。

不过，在将SAVi完全用于现实世界里的复杂视频时，还有一些挑战需克服：

1、所采用的训练方法假设在训练时光流信息是可用的，而在真实视频中，这不一样有；

2、研究中所涉及的都是一些简单物体的基本运动，现实远比这个复杂。

最后，作者表示，SAVi在分割和跟踪方面仍然表现出色，在第一帧给出提示信息的做法也可能会衍生出各种相关的半监督方法。

论文地址：https://arxiv.org/abs.2111.12594

参考链接：[1]https://slot-attention-video.github.io/(代码即将开源)[2]https://www.marktechpost.com/2021/11/28/google-research-open-sources-savi-an-object-centric-architecture-that-extends-the-slot-attention-mechanism-to-videos/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态