提到国外的生成式AI大模型,文本生成领域有ChatGPT,图像生成领域有Midjourney和Stable Diffusion,那么视频生成领域有什么?
很多人第一个会想到Runway公司的Gen-1。
Gen-1是Runway在今年2月推出的一款由文本生成视频的AI大模型。不过就在几天前,它的迭代版本Gen-2也正式发布了。
(资料图片仅供参考)
在此之前,Gen-2从3月下旬开始已经进行了一段时间的小范围测试。
虽然当时Runway的发言人Kelsey Rondenet说过Gen-2会在未来几周对所有人开放,不过直到6月,这个承诺才算真的兑现了。
所以千呼万唤始出来的Gen-2,到底进化到哪一步了?
真正的从零开始生成视频
在发布Gen-1的时候,Runway专门开辟了一个网页来给大家讲解Gen-1能怎么用,大致来讲主要包括了下面5个功能:
输入一张图片提示,来让原视频变成你想要的风格;
上传视频+一段提示词,生成你想要的视频;
输入图片或提示词,来让一段只做了3D建模的视频草稿变完整;
上传一段随意拍摄的视频,自动生成一段有故事感的片段;
在原视频的基础上,更自由地定制你想要的视频风格。
发现没有,使用Gen-1的前提是必须先有一个现成的视频。说白了,Gen-1的作用其实就相当于给原视频加了一个更高级的滤镜。
而到了Gen-2,可以说才真正实现了从零开始生成视频的梦想。
从介绍来看,Gen-2比Gen-1多了3个厉害的功能:
文本到视频:只用输入一段提示词,就能生成一段视频;
文本和图片到视频:输入一张图片+一段提示词,就能让图片动起来;
图片到视频:只用输入一张图片,就能自动生成。
此图为输入“The late afternoon sun peeking through the window of a New York City loft”的提示词生成
如果说Gen-1充其量只能当作一个修改视频的工具,那么Gen-2几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段,最后拼到一起就能讲一个完整的故事了……
总之就是只能拿来玩和能拿来用的区别。
虽然目前Gen-2生成的视频依然存在细节模糊不清、形态扭曲等等品质问题,且生成的视频长度最多只有4秒,但它可能是现在视频生成领域最厉害的AI大模型工具了。
当然,从Gen-2开始,也标志着Runway公司正式进入了收费时代:不同于Gen-1的完全免费,Gen-2免费版的视频生成功能有限,用户需要每月付15美元才能用到它的完整功能。
Runway有啥来头?
Gen-2背后的Runway是一家成立于2018年的年轻公司,一直在研究怎么用AI来提升视频制作效率。
除了TikTok和YouTube上的普通用户,Runway的客户还包括了不少主流影视工作室,比如扣扣熊主持的《深夜秀》就用到过Runway的工具来辅助编辑图像。
它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》,据报道里面让人印象深刻的面条手,还有石头对话等超现实场景都用到了Runway的技术。
不过很多人可能会忽略的是,早些天被爆出大丑闻的Stable Diffusion也和Runway关系密切。
准确来说是一直被外界视作Stable Diffusion背后公司的Stability AI爆雷了,媒体列出Stability AI的罪状之一就是,它把Stable Diffusion的10亿代码成果“据为己有”,而它充其量只是给Stable Diffusion提供了算力。
实际上真正为Stable Diffusion出力的是慕尼黑大学、海德堡大学,以及Runway。
Stable Diffusion最早发表在CVPR 2022年中的一篇论文
也就是说,Runway是Stable Diffusion的研发者之一。
Runway在去年还因为官宣发布了Stable Diffusion v1.5版本一度被Stability AI抓着不放,但那次的舆论最终还是站在了Runway这边。
这也是Runway在“成名”以前为数不多的“八卦”。
后来就像大多数的大模型开发公司一样,不再参与Stable Diffusion项目的Runway在发布Gen-1之后,发展速度就像坐上了火箭,并且在本月初拿到了谷歌的投资,距离D轮1亿美元的融资刚过去一个月,累计融资至少已有2亿美元,成为大模型领域的明星公司。
说个更直观的数字,2021年12月对冲基金Coatue花3500万美元投资Runway时,其估值为2亿美元,一年后估值变成5亿美元,再过了半年,它的估值就又翻了3倍。
网友:好莱坞is dead
Gen-2的正式发布让不少网友感到兴奋。
在Runway官宣发布Gen-2的推文下,出现了一些普通用户“求教程”的声音:
不过已经有行动力强的用户开始试着用Gen-2生成自己的视频了,不少用户都在Runway推文的评论区交上了自己的4秒钟“作业”。
尽管Runway只是在网站列出了Gen-2的主要功能,并没有教给大家更多Gen-2的玩法,但聪明的网友已经自己学着用Gen-2生成的视频剪辑出了一个有反转的短故事。
比如这个叫“Monster of the sea”的48秒故事:天气晴朗、风平浪静的一天,一艘帆船开始还很悠然地行驶在海上,船上的游客惬意地碰着杯喝着酒,可突然狂风大作,船员拿起望远镜往远处望,发现一只巨大的海怪出现在海面,船随着海浪开始颠簸,甚至燃烧了起来,船上的人纷纷跳水弃船逃生。
来自推特网友@MHU
甚至有直接用ChatGPT写了剧本、再用Gen-2生成的视频拼成一个故事的。
还有用户拿Gen-2生成的素材剪了一个1分钟的电影预告片,甚至在最后幽默地加了一个戛纳电影节的标志,如果生成的视频质量再高一点,怕不是真能以假乱真。
来自推特网友@Toni Seldr
不过视频质量差、生成的视频时长太短等也确实成了用户吐槽Gen-2的点。
并且在为安卓用户提供App服务的问题上,Gen-2和Gen-1一样也还是没有长进。
当然,更多用户还是对Runway表现出了宽容。有网友评价说,“虽然它有太多的不完美,但有一点可以肯定,整个视听工业都将迎来革命性的改变。”
还有网友更激进地说,“好莱坞已死,任何人都可能做出一部世界级的电影。”
真能取代好莱坞吗?
可以理解为什么广大网友对Gen-2的推出如此兴奋。Gen-2对普通用户的好处是明摆着的——假以时日,文本生成视频技术一旦成熟,将意味着拍电影不再只是大制片厂的专属,任何一个普通人都可以做一部自己的电影。
Runway并没有明确说过Gen-2面向的人群到底是谁。不过我们可以从它推出App以及之前和影视工作室有过的合作等等动作来看,大致猜到有哪些人会用到Gen-2:专业的制片公司,个人工作室性质的独立生产者,以及我们这样的普通用户。
虽然Gen-2看起来对普通用户很友好,但制片公司们会用Gen-2这样的工具也是肯定的。
毕竟大模型不同于过去任何一个热过之后就销声匿迹的概念,它将成为未来又一次深刻改变人类的产业革命,几乎已经是各行各业的共识。
事实上在国内,已经有影视项目开始借助大模型来完成一些工作。比如在剧本筹备阶段,会把分镜头故事板的产出工作交给Midjourney。
那假设,有一天Gen-N成熟到也能生成能直接拿去用的完美镜头呢?
或者可以拿大模型在游戏行业的应用做个类比,Midjourney等工具的使用显然已经对游戏公司产生了非常现实的影响:先是出于节省成本的需要砍掉美术外包团队,接着就是在自己人身上动刀,甚至有从业者提到最多有8成的原画师会下岗。
考虑到如今大模型的迭代速度,它的影响真正显现在影视行业也会是迟早的事。
不过我反而觉得,Gen-2大模型可能会淘汰那些影视行业流水线上的“工人”,但却淘汰不了真正的艺术家。
之前听到过一个说法,AI大模型生成的内容里,可能有80%都会是对人类过去经验无聊的重复,但也可能有20%闪光的东西。就比如在中式美学和赛博朋克如何进行融合的问题上,普通创作者可能需要极长时间进行思考,AI却可能生成一个让人意想不到的结果,给人带来惊喜。
这20%是AI存在的意义,剩下的就需要真正有创造力的人去补足。
还有从业者提到过一个观点,AI大模型运用到影视行业的生产,不意味着非专业人士也能轻松上手——如果想借助AI的力量创作剧本,还需要针对剧本公式和故事结构等相关知识进行充电。不具备基础知识的小白即便有了AI这个超级助理也无济于事。
所以回到AI是不是能取代好莱坞的问题,事实上好莱坞可能是最早对新技术的“入侵”有所感知的,就像在今年5月初,数以千计的好莱坞编剧工会成员曾进行罢工示威,诉求之一便是抵制在剧本写作中广泛使用AI的现象。
如果有一天Gen-N真的来了,好莱坞导演们可能第一个不答应。
关键词:
- 家电行业进入多元化 我国智能家电市场规模进一步增
- 佛山向欧盟出口供暖设备同比增长154.4% “暖家电”
- 格兰仕家用电器持续增持 占公司总股本1.24%
- 面板厂商持续加码产能 OLED能否迎来爆发式增长?
- 洗鞋机是一匹“黑马”吗? 能否创造下一个风口
- 8月空调行业最忙碌 它们将哪些新动作又将如何惊艳
- 安徽5月份查处违反中央八项规定精神问题245起
- 环球消息!视频版Midjourney又进化了:一句话生成视频
- 外媒:新西兰发生男子持斧“随机袭击”中餐馆事件,
- 环球快资讯:福建省生态环境项目成果发布会举办 福
- 当前头条:五八企服更名为聚盛企服
- 【618战报】广东夫妇618期间累计营业额13.4亿元|世
- 【618战报】截至6月18日24时 唯品会618女装等核心
- 【618战报】抖音电商618持续发力全域经营 销量同比
- 世界看热讯:2出1进,罗马悲喜夜,梅西好友空降,穆
- 《奔跑吧》节目播出,延边众多地点展现民族风情
- 呼和浩特市推动基层政务服务“好办快办易办” 全市
- 香溢融通:6月19日融资净买入258.79万元,连续3日累
- 乘载和核载是什么区别(乘载跟核载 区别是)
- 环球快讯:25岁女孩辞职回老家做“全职儿女”,每天6
- 注意绕行!6月27日起二广高速连州这段路实施交通管
- 关之琳的蓝小蝶,朱琳的女儿国国王,陈孝萱的小昭,
- 今年首场高招现场咨询会上,考生关心什么?-环球热
- 【全球快播报】写梅花古诗句有哪些 古代描写梅花的
- 全球速看:这位95后女生用AI帮助盲人和健全人比射箭
- 中考本周六开考-焦点
- 世界聚焦:惠州抹香鲸主题馆恢复开放时间 惠州抹香
- 全球观热点:[襄阳男科医院]阳痿要怎么治疗?专注男
- 句容全力应对防汛整体形势平稳可控
- 体育消费成为网购新热点 多元、潮流、理性趋势凸显
- usb是什么接口_usp是什么
- 鲍汁海参的做法步骤是什么_需要准备哪些食材
- 沽源县气象台发布雷电黄色预警【Ⅲ级/较重】【2023-
- 梦到被子是什么意思啊 梦见被子是什么预兆
- 当前报道:时光荏苒岁月如梭的下一句是什么_时光荏苒
- null中文(null中文是什么意思)
- 当前热点-英国伦敦股市《金融时报》100种股票平均价
- 要闻:清新资本胡宇晨:CCER 重启进入倒计时,碳资
- 布鲁克洛佩兹什么水平(布鲁克洛佩兹) 天天速讯
- 布林肯结束访华 外交部美大司司长介绍情况|焦点日报
- 当前聚焦:财政奖补中小企不“撒胡椒面”
- 研发中心组织架构及岗位职责_研发中心
- 焦点速递!【中国有约】漳州1567-2023:海丝四百年
- 致闺蜜结婚的暖心句子_致闺蜜结婚的暖心句子有什么
- 世界快看点丨局域网文件共享工具 开源 局域网文件
- 小米13 Pro是USB Type-C充电接口吗_焦点报道
- 每日热门:178环山线路 | 重庆金佛山又添4处新景
- 泰迪踢掉主人长了2年的肾结石 网友:晚饭加鸡腿
- 【618战报】拼多多618激活全域消费 宠物品牌单品猫
- 人文学者用科幻舞台剧表达对“元宇宙”的哲思 环球
- 金界传奇:黄金20周均线之上继续买入!_每日播报
- qqvideo怎么启用_qqvideo-全球热推荐
- 速讯:让演唱会的工作票也有源可查,打击“黄牛”力
- Mate发布Voicebox AI模型:仅需2秒片段即可“学会
- 当前快讯:淄川区精神卫生中心到桓台县人民医院观摩
- 陕西开放大学党委副书记、纪委书记、省监委驻陕西开
- 肝炎后不能吃什么食物-天天时讯
- 新都街道:网格力量守护食品安全
- 天天简讯:发生了经济合同纠纷怎么办
- 当前速看:男人过了45岁,就少穿衬衫皮鞋吧,油腻!
- 从《金翼》到《社区的实践》 在“中国社会学经典文
- 【天天热闻】江西理工大学发放2023级硕士研究生录取
- 重庆信用卡电话客服 重庆市信用卡中心
- 【电商快评】重拼“价格战” 直播间成核心战场 本
- “人户分离”老人无法享受助餐等补贴?市人大建议突
- 【世界快播报】三个月婴儿绿便的原因有哪些_绿便的
- 福建电视台体育频道测试卡(福建电视台体育频道)
- “中国兰花第一县”逾160个兰花品种指导价发布 天
- 中美外长闭门磋商,到底谈了啥?
- 最新消息:【618战报】快手电商618大促订单量同比增
- 【全球报资讯】长寿的秘密找到了!Nature Aging:
- 世界简讯:任贤齐西安演唱会开抢前临时修改规则,退
- 当前速递!苹果新MicroLED专利公布
- 【全球速看料】央视:电视液晶面板价格持续恢复,电
- 当前视点!贵阳回应暴雨致地铁漫灌停运:积水已得到
- 订单去哪儿了?5月出口额下滑7.5%!
- 长江、珠江流域或现超警以上洪水 水利部针对10省区
- 美国底特律民众集会 抗议枪支暴力事件频发
- 2023杭州西湖区企业发展服务中心招聘通知 热头条
- 焦点速递!黄子佼爆料“大小S吸毒”,还称范晓萱和
- 黄子佼自曝和“陶姓艺人”恋爱过往,陶晶莹通过经纪
- 【618战报】美团外卖商家首次组团618成绩单出炉
- 3999元起!业界最便宜折叠手机moto razr 40开售
- “你与艺术并不遥远” 这位父亲给女儿写了一套绘画
- 全球微速讯:河南淮滨县法院走进曹圩小学开展防溺水
- 延时开放、增加讲解场次、预约分流……成博“汉字中
- 全球观点:汽车之家未来之城新能源科技节启幕 打造
- 黄子佼承认性骚扰,称与心理创伤有关:小时候目睹妈
- vivo s6参数配置_s6小炮天赋|每日速讯
- 国足预计首发:艾克森继续搭档武磊 林良铭出战
- 汽车运输振动试验台_环球微速讯
- 微资讯!悬疑犯罪电影《消失的她》曝特别推广曲MV,
- 华硕宣布事业调整:手机并至商用计算机,电竞并至消
- 天天简讯:五育花开润横小 劳动育人展风采
- 【电诉宝】货不对板?“别样海外购”被指商家问题退
- 本周三来三苏祠,听莫林虎教授解读苏轼文化性格的形
- 重庆永川区可提供LG冰箱维修服务地址在哪
- 电缆电线网(电缆电线)_全球看热讯
- 极目锐评|女子花52元取鱼刺称“医院赚大钱”遭怼,
- 中汽协:国内汽车市场需求动力有待进一步挖掘提升|
- 一江清水出新安
- 老产品触及天花板后,“插座一哥”想抢占新能源充电
- 【电诉宝】用户投诉“识季”下单后就不能取消 平台
- 彩虹股份收年报信披监管函:近三年经营业绩大幅波动
- 总投资80亿元 天马(芜湖)新型显示模组生产线项目
- 环球动态:都是25万级中大型车 汉EV冠军版对比飞凡F