2张图就可生成一段精细视频，来自Stable Diffusion技术团队

詹士 发自 凹非寺

光子位 | 社会公众号 QbitAI

新魔法！敏感度垮！

两张静态图表，几秒即聚合录像带，丝滑如实拍！

两张截图，就能让小狗慢慢胳膊头，连身体也随之伸展：

还是两张截图，一键聚合。

小孩翻起，双手共存交叠，衣服轻轻摆动，与实拍别无二致：

这些录像带由一个帧迭代工具箱根据图表聚合，有心都能因特网仅限玩（页面见书上）。

这两天即将公布就在网上掀起不小关注，Twitter上like超过2500。

评论特别之处，网友一片喜大普奔。

有人感到大受震撼，雁傻嘤：

还有人问到，这是什么现代巫术：

当然，还有更多网友迫不及待不想试试。

它无论如何什么个来路？往下看。

Frame Interpolation的游戏

先看看的游戏敏感度。

出航web端口，上传两张开花图表：

旧版好录像带足足，比如2秒，就能给与这一段录像带，叶子慢慢打开，镜头也逐渐重新认识：

再试试两张狗子截图，让它转为个头：

不过，上传两张鸟在天空不同一段距离飞的截图，敏感度就不ok了：

此前文中会提及，该产品是一种帧迭代（Frame Interpolation）工具箱。

所谓帧迭代，即在录像带两个帧之间，插入一部分新的合成帧，关的电子技术被广泛用到图表聚合录像带、录像带流中会的帧修复。

谷歌今年有篇《大幅动作的帧迭代》（About FILM: Frame Interpolation for Large Motion）已被ECCV 2022接收。

电子技术人员通过双向运动估计、与尺度无关的特征提取等方法，做出了较好的帧迭代敏感度。

就目此前来说，该电子技术无法突破的点在于：

即便是短短几秒，图表中会剧中会或表面也进行了一套复杂动作，使得帧迭代后，录像带色差。

不过，如果不追求写实，做出一些梦幻敏感度，该电子技术现在绰绰有余（手动马虎）：

△ 比如让建筑变成变形金即将

背后开发团队与Stable Diffusion有类似之处

一一大火的帧迭代工具箱背后开发团队叫：Runway。

最近AIGC圈顶流，Stable Diffusion，所依据的论文中会《High-Resolution Image Synthesis with Latent Diffusion Models》正是由斯图加特所学校、海德堡所学校及他们共同完成。

其中会作者之一的Patrick Esser，也是Runway的首席发现者。

（正因如此，Patrick Esser及Runway此前段时间还在与Stability AI因Stable Diffusion来回扯皮。）

根据发布新闻资料，Runway创建于2018年，是一家借此用AI/ML与计算机利用计算机电子技术在录像带、图像、音乐、文中会本领域备有内容创意工具箱的创业美国公司，总部位于美国纽约。

截至目此前，该美国公司已总计获得4550万美元投资，投资方都有Coatue、Amplify、Lux、Compound等机构。

Runway子公司产品涉及多个模态，不仅有开头提及的静态图表聚合丝滑录像带，也都有文中会本聚合图像、图表替换成着重、依靠文中会本对图像改写、删除录像带中会表面、声音去频等等。

感兴趣的朋友，可在他们的官网的游戏。

附上页面：

参考页面：[1]_pc_videoshow[2][3][4][5]

— 完 —

光子位 QbitAI · 华尔街日报号续约

天津看男科去哪家医院
石家庄男科医院挂号
英太青职场痛快双减计划
温州男科医院哪家医院好
沈阳牛皮癣医院挂号