Create

Sign in to ReadmeX

Sign in to join communities, post, vote and chat.

or

New here?

Story

Jensen Huang 'MJ world tour' AI meme videos flood Bilibili, spotlighting Chinese video models

AI summary

Since late September, Bilibili creators have posted a wave of "Michael Jackson world tour" AI edits that swap figures such as Jensen Huang, Zhuge Liang and Mendeleev into MJ's Jam concert footage; one Huang version by creator "Wangyuyexing" had 3.33 million views as of Oct 8 and was reposted by Elon Musk, who joked it explained why memory is so expensive. The article says the workflow is simple: replace characters locally and free with ComfyUI's Wan 2.2 Animate, or use online platforms such as UPDream's template-copy feature. It cites the Artificial Analysis video-editing leaderboard as ranking Alibaba's Wan 3.0 first, ByteDance's Seedance 2.5 second and MiniMax H3 fourth, and says a 4-second clip costs as little as 0.28 yuan domestically under a promo, far below the per-clip share of Runway's subscription credits.

Why it matters: Cheap, accessible video remixing highlights the editing quality and pricing of Chinese video-generation models, and lets individual creators produce finished clips on tiny budgets.

BilibiliComfyUIWan 2.2 Animate

8
Source text36氪 人工智能 · 10 min read

迈克尔·杰克逊去世17年之后,估计他自己也没想到,自己会以这种方式重新在中国火一把。

熟悉的舞台,熟悉的出场音乐,一看就是MJ那场经典的《Jam》演唱会。烟花炸开,“砰”的一声,一个人从舞台下弹了上来。

不过等烟雾散开,站在聚光灯下的,却是一身黑色皮衣、戴着墨镜的老黄,黄仁勋。

在熟练地摘下墨镜,露出老黄自己那副标志性的眼镜之后,平时在台上讲显卡、讲算力的英伟达老板,这回直接跳起了MJ的舞。

甩臂、转身,跟着伴舞踩鼓点,皮衣随着动作闪闪发亮。再一开口,《Beat It》也被改成了《Just AI》,CUDA、算力、数据中心,成了朗朗上口的歌词,把老黄捧成了新一代的AI教父。

然而,相比台上热舞的老黄,更牛的还是台下。库克、苏姿丰、奥特曼,还有马斯克,一群科技圈大佬成了追星的观众。比尔·盖茨更是激动得直接“晕倒”,被工作人员用担架抬走。

|视频中的盖茨“晕倒”画面,AI二创 来源 王与也行/香港01

这场科技圈全明星演唱会,来自B站UP主「王与也行」制作的AI二创视频《黄仁勋 世界巡演》。10月4日发布后,截至10月8日,视频在B站的播放量已经达到333万,随后又被网友搬到了X。

大概是因为这个视频实在太过搞怪了,连马斯克本人都来凑了个热闹,转发视频,还调侃了一句,“这就是内存这么贵的原因。”

但这段让马斯克都来凑热闹的视频,只是这场AI狂欢的冰山一角。

这场巡演,早就开始了

虽然王与也行制作的这段黄仁勋AI视频是最出圈的,但如果排资论辈的话,他甚至称不上“前几批”征用MJ舞台的人。

早在9月23日,B站UP主「凡人柳玉」就发布了《迈克尔“薛甄珠”世界巡演》,把《我的前半生》里的薛甄珠搬上舞台,截至10月8日,已有22.8万播放。

第二天,浅澄月发布《迈克尔·雨 东北巡演》,把搞事网友们最爱的“东北雨姐”打造成世界巡回演唱会的主角,成为这个风格中较早走红的一版。截至10月8日,播放量已经达到333.4万,也吸引了更多网友加入MJ巡回演唱会的二创。

9月29日,「酸奶煎个蛋」发布《门捷列夫 科学界巡演 怒唱元素周期表》,让这位化学家站上舞台,把元素周期表唱成了演唱会曲目。截至10月8日,这个版本已有569.9万播放、30.2万点赞,要是只看播放量,它已经远远超过了黄仁勋版。

而在后来的国庆假期里,赵本山也来表演《Jam》了。10月2日,UP主「艾伦あ耶格尔」发布《赵本山 世界巡演》,用MJ的演唱会画面配上《念诗之王》,截至10月8日,已有244万播放。春晚里的本山大叔,直接跳上了世界巡演的舞台。

与此同时,曹操、诸葛亮、孙悟空也陆续加入。诸葛亮开的是“骂王朗全球巡演”,孙悟空干脆把演出范围扩大到三界。只要是你能想到的影视剧、神话和现实人物,都能参与这场盛大的演出。

不得不说,MJ这场演唱会确实很适合拿来整活。恢宏的舞台,炸开的烟花,火焰和聚光灯,再加上幅度夸张、节奏鲜明的舞蹈,换谁站上去,都自带一股巨星登场的气势。

特别是开场“砰”的一下跳上舞台的姿态,哪怕在30年后,也是霸气十足,威风凛凛,和老黄、孙悟空、诸葛亮等人在大家心中“威武霸气”的形象不谋而合。

可也正因为画面这么复杂,要让换上去的人物跟着跳舞,还得在烟雾、火光和快速切换的镜头中保持自然,制作这些视频的难度会不会非常高?

实际上,这些视频的做法可能比你想象中的还要简单。甚至坐在办公室里,只需要一段参考视频和一张人物图片,你就可以动手试试。

一张照片,就能安排一场巡演

在网上,已经有不少博主把自己的AI视频制作方法“开源”了。比如B站UP主阳子YoungZi,就在9月30日发布了《零基础迈克尔杰克逊演唱会AI制作教程》,分享怎样把想要的人物搬到MJ的舞台上,连提示词资料也一起放了出来。

简单来说,做这类视频,首先要准备两份素材。一段参考视频,提供舞蹈动作和镜头;一张人物图片,告诉AI,这次要让谁上台。

有了素材之后,常见的制作方式有两种。不想花钱、电脑性能也够强的,可以选择ComfyUI在本地制作;电脑性能不够强,但愿意花点钱省事的,就可以考虑第三方AI视频制作平台。

先说ComfyUI这条路线。

官方提供的Wan2.2 Animate工作流,就支持把图片中的人物替换进视频,同时参照原视频的动作、表情、光照和色调。

在ComfyUI模板库里找到Wan2.2 Animate,按照教程装好模型和所需插件,使用替换人物的Mix模式就可以开干了。后续只需要载入人物图片和参考视频,选定需要替换的主体,点击运行就行。

|Wan2.2 Animate的Mix模式工作流 来源ComfyUI官方教程

至于提取动作、处理人物与背景之间的关系,都不需要你操心。

这条路线的优点是全程免费,并可以离线运行在你的电脑里;缺点则是运行本地大模型需要一定性能的显卡,并且需要熟悉ComfyUI的工作流。

所以,如果是技术小白、只是想在办公室里试着整个活的话,选另一条路线:在线平台,会省事得多。那个创作出黄仁勋版本《Jam》的UP主,用的就是UPDream这个在线平台。

在国内,确实不缺各式各样的AI视频生成在线平台。以小云雀为例,官网已经提供“爆款复刻”和“舞蹈模仿”入口,让用户可以傻瓜式地生成爆款AI视频。

不过,虽然是“傻瓜式”生成,但生成视频通常需要消耗积分。这里不建议大家直接给平台喂一大段的示例视频进去。

可以先从演唱会里截取几秒钟,挑一段主角清楚、动作完整的镜头,先做出一个短片段,方便检查效果,也能少花一些试错的钱。

另外,想要替换的人物图片同样要挑一下。脸部清楚,身体尽量完整,姿态和原视频里的主角接近,能减少AI猜测衣服、身形和被遮挡部分的工作,也能少生成几次,省下一点试错费用。

如果手里只有一张大头照,可以先用图片生成工具做一张穿好演出服的全身图。

一切准备就绪之后,就可以用这些平台的“爆款复刻”功能生成视频。生成的提示词,可以参考下面这段:

「保留参考视频的舞台、镜头运动和人物动作,将舞台中央的主角替换为人物图片中的角色。保持图片中的面部特征和服装,让人物跟随原视频完成舞蹈,光照和色调与舞台一致,动作连贯。」

在平台输出样片之后,可以重点考察人物的脸准不准确,手脚的姿态有没有问题,动作是否连贯。出现问题之后可以试试针对某个画面“抽卡”一下,针对性调整。

当然,像黄仁勋版那样完整的演唱会,还包括改编歌曲、观众镜头和剪辑。主角跳舞的片段做好以后,再分别制作台下观众的画面,配上准备好的音乐,用剪映等工具拼起来,才会形成一场有开场、有欢呼、有笑点的“世界巡演”。

Only China can do

不过“世界巡演”二创好玩归好玩,但是实际上产出一个“世界巡演”爆款背后的价值,更值得我们深思。

网友要能放开手脚整活,至少也得有能实现他们脑洞的工具。一边是眼花缭乱的舞台,一边是大开大合跳舞的老黄,要是用于生成的大模型没法把这些事情做好,再好笑的创意,也可能变成一段脸歪手扭的翻车视频。

但在AI视频生成这块,中国团队已经做出了一批表现出色的模型。

截至10月8日,在Artificial Analysis的视频编辑榜单上,阿里的Wan 3.0排名第一,字节的Seedance 2.5排名第二,MiniMax H3位列第四。

这张榜单通过用户对生成结果的比较投票来评分,考察的是按照要求修改视频的能力,和这次把人物搬上MJ舞台的玩法相当接近。

不过模型能力强,只是一切的开始。对国内的网友来说,模型强带来的另一个好处是,在国内使用这些国产大模型的价格,还真挺便宜。

目前,UPDream首页正在宣传Seedance 2.0 Fast限时五折,低至每秒0.07元。按这个活动起价算,生成4秒视频只要0.28元。

|UPDream限时活动起价,截图于10月8日 来源UPDream官网

相比之下,海外的视频生成平台Runway同样提供Seedance 2.0 Fast,生成4秒需要116积分。

不过它按月付费的Standard套餐是15美元,包含625积分。如果把积分全部用于这款模型,每段4秒视频的分摊费用约为2.78美元,折合人民币差不多18.6元。

按18.6元与国内活动起价0.28元粗算,比国内平台贵了约66倍;即使换成每月95美元、包含9500积分的Max套餐,也要约1.16美元,差不多7.8元。

|Runway按月套餐与Seedance 2.0 Fast积分收费,截图于10月8日 来源Runway官网

虽然这只是一个不太准确的粗算,但也能说明,在国内玩AI视频生成的确是便宜到离谱。再加上AI视频经常要“抽卡”,一个满意的画面可能要生成几次甚至十几次,这就更会放大便宜的优势。

当然,中国AI视频生成领域的蓬勃发展,早就不限于对名场面的“二创”。还有很多非常有意思的原创,都体现了作者天马行空的想象力。

在抖音上,账号“你好小泰迪”发布过《生活不易,狗狗摆摊卖馄饨》,让狗狗客串了赚钱养家的小摊贩。

新榜今年8月采访的一批AI短片作者中,大二学生昊憧和同学两个人独立完成了《Rundown不要停》;编剧、导演山音则用20天做出了7分钟的《TANGO》,这个剧本他已经写了两年,此前一直因为成本拍不出来。

一个写了两年、因为没钱拍而搁置的故事,终于因为AI,变成了可以呈现到观众面前的成品。这些故事,其实比让老黄跳起MJ的舞,更激动人心。

有才华、有想法的人,过去可能受限于设备、演员和制作预算,迟迟没法把自己的故事讲出来。但到了现在,有才华的人已经可以用更低的成本,先做出几段镜头,试着把自己心中的故事拍出来。

往舞台上一跳炸场的黄仁勋版MJ,炸开的,也许还有一个AI创作的新时代。

本文来自微信公众号“蓝字计划”,作者:Hayward,36氪经授权发布。

Read the original →

How we got here

  1. Nvidia-backed Upscale AI launches Token Fabric to link chips from rival vendorsThe Next Web · Nvidia
  2. Nvidia-backed AI drug developer Iambic files for US IPO, seeking up to $159M36氪快讯 · Nvidia
  3. Drones hit Yandex data centre in Sasovo housing two AI supercomputersTechmeme · Nvidia
  4. China's AI otome games stall as token costs and weak gameplay bite虎嗅 AI · Alibaba
  5. AI office apps in China: how Tencent, ByteDance, Baidu and Alibaba chase growth36氪 人工智能 · ByteDance
  6. Nvidia expands Halos safety architecture to roboticsArs Technica AI · Nvidia

Comments

I've used this: share my experience What I think: share my view
How important is this story?No ratings yet

No comments yet. Start the conversation.