网球论坛

首页 » 种类 » 种类 » 让普通视频变成慢动作AI加帧技术现已
TUhjnbcbe - 2023/4/8 20:51:00
治疗白癜风哪里比较好 https://yyk.39.net/bj/zhuanke/89ac7.html

机器之心报道

机器之心编辑部

出于节省空间等方面的考虑,手机、普通摄像机录制的视频单位时间包含的帧数往往较少,慢放时帧率进一步下降,无法还原太多细节。高速摄像机的出现弥补了这一不足,但成本较高。那么,只拥有普通设备的人要如何获取高帧率视频呢?

今年6月份,英伟达发布了一篇生成高质量慢动作视频的论文——《SuperSloMo:HighQualityEstimationofMultipleIntermediateFramesforVideoInterpolation》,探讨了如何将普通设备录制的视频转换为高帧率慢动作视频。这项工作的原理是在临近的两帧之间补充额外的画面帧。让我们先来看一下效果:

额...英伟达给出的视频中展示了一个用网球拍快速打破水球的例子,正常速度下的视频如下:

下图分别是用原始SloMo和SuperSloMo软件制作的慢速视频。

从图中可以可出,用原始SloMo软件制作出的慢速视频虽然也让我们看到了一些肉眼无法捕捉到的细节,但相比之下,用SuperSloMo制作的慢速视频还原的细节更多,画面也更加流畅。这是因为二者有着本质的区别,前者并没有生成新的视频帧,而后者则利用神经网络生成了新的视频帧,使得画面包含的帧数更多,从而增加了视频细节和流畅度。

在看看下方的赛车甩尾,原视频为30FPS。看起来没毛病吧,那慢速播放之后呢?

看下图上方,原来流畅的甩尾变得像是一张张照片摆拍凑出来的定格动画(P水花比甩尾简单多了吧),但经过算法补帧变成FPS之后,下方的片段立刻有了FastFurious即视感。

遗憾的是,作者发布论文的时候并没有放出数据集和代码,让想要实现这一炫酷技术的geek们大失所望。但是(划重点),群众的力量是伟大的。近日,GitHub一位名为avinashpaliwal的用户开源了自己对SuperSloMo的PyTorch实现:

Github

1
查看完整版本: 让普通视频变成慢动作AI加帧技术现已