用户生成视频的方式变得更加多元,可以文生视频、图生视频、视频生视频。在不同参数设置下,每100帧的报价范围从3美分到18美分不等。
前脚《复仇者联盟》导演罗素兄弟中的Joe Russo刚刚放话,预计2年后就会出现一部完全由AI制作的电影,后脚Stability AI就发布了AI生成视频新工具,制作电影、至少制造动画短片难度由此进一步降低。
当地时间5月11日,Stability AI发布Stable Animation SDK,这是一款专为艺术家与开发人员设计的工具,旨在帮助艺术家和开发人员运用最先进的稳定扩散模型生成动画。
借助这一工具,用户可以使用所有Stable Diffusion模型,包括Stable Diffusion 2.0、Stable Diffusion XL等。
更重要的是,用户生成动画的方式变得更加多元,简而言之共有三种:文生视频、图生视频、视频生视频。
1)文本输入:即是使用文本形式的prompt,调整各种参数后生成动画,这一功能与之前的Stable Diffusion、Midjourney或DALL-E 2类似。
2)文本输入+初始图像输入:用户提供一个初始图像,作为动画的起点,再配合文本prompt,生成最终的动画效果。
3)初始视频输入+文本输入:用户提供一个初始视频,以作为动画基础。在通过参数调整与文本prompt指导,最终可输出动画。
与此同时,Stable Animation可以设置许多参数,包括最大帧数、高度、宽度、采样器、风格、色调等等。其中,可用的风格预设包括动漫、电影、漫画、数字艺术,增强幻想艺术、线条、朋克、摄影等多种形式。
目前,Stable Animation仅提供软件开发套件和付费API。而部分参数要求可能会影响价格。Stability表示,在不同设置下,每100帧的报价范围从3美分到18美分不等。
实际上,Stability AI之前已推出基于Stable Diffusion的动画工具,例如用户可以prompt interpolation生成小段动图,而此次升级后,Stable Animation生成视频的能力变得更为全面且成熟。
值得一提的是,近日发布的Wes Anderson《指环王》新预告片中,就有着一些AI工具的踪迹。OpenAI前AI主管Andrej Karpathy猜测,这部预告片中用到了Midjourney/Stable Diffusion、ControlNet、ElevenLabs、D-Id、CHATGPT、Adobe等工具。
东吴证券指出,影视行业作为综合音频、视频、文本,是生成式AI的优质落地场景;而从AI应用的价值和路径来看,动画电影有望率先受益。
相比真人电影1-2年的生产周期,动画电影耗时更长,工程更复杂,产能限制更加明显。生成式AI技术有望赋能动画电影的前期剧本创作、中期作画、最后视频剪辑/配音/视频输出等多个环节,打破动画电影产能瓶颈,通过增加行业优质动画电影供给进一步打开市场空间。