视频和音频的生成与编辑：一张地图，看清这个领域到底在忙什么 每日视讯

你有没有想过，为什么用AI生成的视频里，人说话的时候嘴型总是对不上声音？或者为什么给一段无声视频配上AI生成的音效，那脚步声总是慢半拍、或者早半拍？

(资料图片)

这不是运气不好，这是整个领域的结构性问题。

过去这些年，做视频生成的团队和做音频生成的团队基本上是两拨人，各自闭门造车。视频模型拼命把画面做得越来越逼真，音频模型拼命把声音做得越来越干净，两边都很强。可一旦把它们的产出拼在一起，问题就暴露了：画面里门"咣"地关上，声音却晚了三帧才响。单独看每一路输出都无可挑剔，合在一起看就是一场灾难。

这篇来自UMass Amherst、Adobe Research等十几家机构联合完成的综述论文，做的事情说起来挺朴素：把所有试图让视频和音频"对上"的研究工作，按照一套统一的逻辑整理了一遍。它不是简单罗列论文，而是提出了一个问题：这些五花八门的方法，到底是靠什么机制让音画保持一致的？

这个问题听起来简单，回答起来却牵扯出一整套设计哲学。

三种玩法，一个核心矛盾

论文把所有相关研究分成三类任务。

第一类叫联合生成：给模型一个条件（可能是一句文字描述，也可能什么都不给），让它同时产出一段视频和一段音频。就像让一个作曲家兼摄影师凭空创作一个完整的短片。

第二类叫跨模态生成：手里已经有一样东西，让模型补上另一样。比如给一段无声的监控视频配上恰如其分的环境音，或者给一段录音生成匹配的说话人脸视频。这就像给一部默片配乐，或者给一段广播剧配上动画。

第三类叫联合编辑：手里已经有一段完整的视频加音频，想改点什么。比如把视频里的人声换成另一种音色，这时候嘴型动作也得跟着变，不然就会出现"音色变了但嘴巴还按原来的节奏张合"的诡异场面。

这三类任务看似不同，但论文提出一个统一的数学框架，把它们都归结为同一个分布上的不同操作。

音画对应关系*：论文给出了一个专门的定义,指视频和音频在语义上和时间上都匹配——画面里能看到的声源，音轨里就该听得到；每个声音事件,都该精确对应到引发它的那一帧画面。一段素材如果真实自然,那么打乱音画时间对齐后,它听起来看起来就会明显变差。

这个定义听起来有点学术，但它点出了整个领域最核心的难题：一个模型可以把视频做得很美，把音频做得很真，但如果两者各自为政，哪怕单独拿出来都无可挑剔,组合在一起依然会让人觉得哪里不对劲。这就好比请了两位顶级厨师,一位专做主菜一位专做甜点,各自手艺都是米其林水准,但如果两人互不沟通,主菜上刚出锅的热汤,甜点却早就化了半小时的冰淇淋,这顿饭照样砸锅。真正的难点从来不是把单道菜做好,而是让它们在同一张桌子上和谐共存。

论文还特别强调了一个容易被忽视的陷阱：如果一个模型简单地把生成视频的过程和生成音频的过程完全分开、互不干涉，哪怕每一路都调教得再好，也没办法在根本上提高音画一致性，因为这种"各管各的"的结构里压根没有信息互通的渠道。真正有效的方法，必须在架构或者训练目标里埋下某种"牵手"的机制，让两条流互相知道对方在做什么。

五个维度，拆解模型的设计基因

论文最硬核的部分，是提出了一套五轴设计分类法,把现有29个联合生成模型和4个联合编辑模型，按照五个维度逐一打分归类。

第一个维度是生成策略，说的是两个模态在计算图里到底是怎么被安排生产出来的。

这里面有五种玩法。单塔结构是用一个网络同时处理音频和视频，两路信息拼接或交织成一个序列扔进同一套参数里,这种设计天生就能互相感知，缺点是一套表示得兼顾两种完全不同性质的数据。双塔结构则是两个模态各走各的网络，只在特定层通过跨模态连接交换信息，这是目前文献里最常见的选择，像JavisDiT、Ovi、BridgeDiT这些较新的模型都走这条路。级联结构是先生成一个模态，再拿它当条件生成另一个，比如Movie Gen先用文字生成视频,再拿生成好的视频去配音。统一令牌结构理论上可以把两种模态都离散化成词元塞进一个序列里用自回归模型统一建模，但论文发现目前居然没有一个联合生成方法真正这么做,这是个值得玩味的空白。最后一种是引导式,用两个各自训练好、彼此完全不知道对方存在的冻结模型，仅仅在采样这一步通过一个"打分器"互相拉拢，不需要联合训练，但效果上会打折扣。

扩散模型*：一类主流的生成模型，训练原理是先把真实数据一步步加噪声直到变成纯噪声，再训练网络学会把噪声一步步还原回干净数据，生成时就从随机噪声出发，反复去噪得到结果。

流匹配*：和扩散模型类似的另一种生成范式，直接学习从噪声分布到数据分布的"速度场"，通常采样步数更少、训练更稳定。

这里有个很有意思的类比。想象你在组织一场双人舞表演，单塔结构相当于让两位舞者共用同一套肌肉记忆系统,他们的每一个动作天生就是同步的，但代价是这套系统得同时适应两种完全不同的舞种动作习惯，练起来格外费劲。双塔结构则是让两位舞者各自练各自的舞步，只在排练时安排几次对台词、对节拍的沟通环节,这样专业度能保住，但万一某次沟通没对齐,舞台上就容易出现一个转身一个还在抬手的尴尬瞬间。级联结构干脆让一位舞者先完整跳完整支舞,另一位盯着录像现学现跳配合上去，这样做起来简单，但第二位舞者的发挥空间完全被第一位框死了，没法反过来影响前面的编排。如果不做任何耦合，让两位舞者戴着耳机各跳各的互不参考，那么无论单独看谁跳得都很精彩，合在一起大概率就是一场灾难。

第二第三个维度分别是音频表示和视频表示，说的是模型到底在什么样的数据空间里"思考"。

音频这边有四种选择：直接在原始波形上操作，保真度最高但序列长到吓人,论文发现目前没有任何联合方法真的这么干；转成梅尔频谱图当成图像处理，MM-Diffusion用的就是这招；用连续潜在空间，先用一个自编码器把音频压缩成一个低维但连续的表示再在这个空间里做扩散，这是目前压倒性的主流选择，29个方法里有28个用这招；或者用离散词元,把音频量化成有限词汇表里的符号序列，这个选项同样目前无人问津。

视频这边有四种对应选择：直接在像素上操作（MM-Diffusion是唯一这么干的，反映了它发表时算力条件的限制）、逐帧用2D自编码器加单独的时序模块、用3D自编码器把时空一起压缩（这是当前最主流的做法,Movie Gen、Ovi、LTX-2等19个方法都用它）、或者离散词元化（同样目前无人采用）。

自编码器*：一种神经网络结构，通过"压缩再重建"的方式学习数据的紧凑表示，编码器把原始数据压成一个更小的潜在向量，解码器再尝试把它还原回去。

潜在空间*：数据被压缩后所在的那个低维、抽象的数学空间，模型通常不直接在原始像素或波形上计算，而是先把数据映射到潜在空间再处理，这样能大幅降低计算量。

第四个维度是对齐强制机制，也就是模型究竟在流水线的哪一个环节去"按头"要求音画对齐。

论文列出五种办法。跨注意力是让音频流和视频流互相"看"对方的特征，这是目前最主流的架构级手段，19个方法都在用。共享位置编码是给两路信息绑定同一条时间轴，让同一时刻的词元在位置层面就被强制对应，ALIVE和JavisDiT++用的是这个思路。判别器是训练一个专门打分"这对音画是不是真实匹配"的网络，在采样阶段用它的梯度去引导，MMDisCo是目前唯一这么做的。分类器引导是用一个外部对齐模型在推理时引导采样方向而不改动生成器本身的参数，Seeing-and-Hearing是代表案例。显式先验则是单独估计一个时空先验信息注入进去，JavisDiT用的是这招。

论文里有个细节很值得琢磨：早期那些只在推理阶段"打补丁"式地强行拉对齐的方法（判别器引导、分类器引导）现在已经成了少数派，这本身就说明了一件事——同步能力正在从"生成完之后再修正"变成"从一开始就刻进模型骨子里"。这就好比一支乐队,早年可能是先各自录音再后期合成对齐节拍,现在越来越多的乐队选择直接在同一个录音棚里实时合奏，道理很简单：后期补救永远比不上原生协同来得自然。

第五个维度是预训练复用，说的是模型的初始参数从哪里来。

从零训练意味着完全靠随机初始化在配对数据上硬训，代价极高但不受既有架构束缚，MM-Diffusion、Movie Gen、Ovi、LTX-2都走这条路。单一预训练是复用一个现成的视频模型骨架，再在上面添加音频能力，ALIVE、Hallo-Live属于这类。双预训练则是把两个各自训练好的单模态模型拿来耦合，只学习连接它们的那部分参数，CoDi、Seeing-and-Hearing、BridgeDiT都是这种打法。

论文特别指出，这五个轴并不是互相独立的选项，而是存在结构性的牵连关系。比如采用引导式生成策略的方法，天然就必须用双预训练，因为引导式本来就需要两个现成的冻结模型打配合。再比如，目前所有复用预训练骨架的方法，复用的无一例外都是连续潜在扩散模型，这意味着离散词元这条路要想走通，要么得从零训练付出高昂代价，要么得把两个基于词元的单模态生成器硬拼在一起，而后者目前还没人真正尝试过。

九大类二十八种，一张编辑地图

如果说生成任务已经相对热闹，那么联合编辑这个方向，论文给出了一个让人意外的结论：这几乎是一片半开垦的荒地。

论文构建了一个覆盖九大类、二十八种具体编辑类型的分类体系，这是目前已知第一个系统化整理音画联合编辑领域的工作。

这九大类分别是：同步类编辑（调整时间对齐而不改变内容，比如唇形校正、配音对齐）、联合内容编辑（在两个模态里同时插入、删除或替换元素，比如让一辆经过的汽车同时带上发动机声）、跨模态迁移（从一个模态推导另一个，比如给肖像重新配音）、身份与表演编辑（人脸和声音同时换掉但保持是"同一个人"）、场景与环境编辑（换场景、换时段、换天气，声音要跟着变化）、叙事编辑（剪辑层面的操作，比如J-cut和L-cut这种专业剪辑手法）、生成式编辑（音画联合补全或扩展）、质量与修复（联合去噪、单独修复每个流）、以及贯穿所有类别的跨切面问题（控制粒度、控制方式、一致性）。

论文对每一类都做了坦诚的盘点，哪些已经有成熟方法，哪些完全是空白。

同步类里，配音是发展最成熟的子方向，有EdiDub、JUST-DUB-IT、EditYourself这几个代表性工作,但单纯的时间对齐校正和重定时在文献里压根没有专门方法。联合内容编辑里AV-Edit和Object-AVEdit能做物体级的插入删除替换，但场景级的替换和环境音的插入依然没人碰。身份与表演编辑目前只能通过配音方法间接实现，专门针对"换脸同时换声音还要保证是同一个人"这种需求的联合方法还不存在。场景与环境编辑、叙事编辑、生成式编辑里的音画联合补全和扩展，论文的原话是"没有一个覆盖的方法"。质量与修复方向同样如此，联合去噪是一个明确存在的需求（单独修复两个流很容易破坏它们原本的对应关系），但目前没有任何学习型的联合处理方案。

这就好比你有一台老电视和一台老音响，都坏了。你可以分别找人修电视、修音响，修完各自都能正常工作，但如果这台电视和这台音响原本是一套组合装置，各自独立维修很可能导致电视的刷新率和音响的采样率完全对不上了，播放起来还是会有违和感。真正需要的是一次性把两者当作一个系统来修，而现在的技术恰恰没人这么干。

论文里有一句话点得很准：当前方法大多在"单个镜头内部"做编辑，而叙事级别的编辑需要同时跨越多个镜头、多个模态去推理，这是整张地图上最清晰的一块留白。

实验数据说话：主流做法到底长什么样

这张五轴分类表背后藏着一个很直观的趋势。

| 设计维度 | 最主流选择 | 占比情况 |

| 生成策略 | 双塔结构 | 文献中最常见 |

| 音频表示 | 连续潜在空间 | 29个方法中28个采用 |

| 视频表示 | 3D变分自编码器 | 19个方法采用 |

| 对齐机制 | 跨注意力 | 19个方法采用 |

| 预训练来源 | 从零训练 | 12个方法采用 |

这张表格最值得玩味的地方在于，它暴露出一种明显的"路径依赖"：扩散和流匹配几乎垄断了整个领域，自回归离散词元建模虽然在纯文本生成和纯图像生成领域已经很成熟，但在音画联合生成这个细分方向上几乎无人问津。论文把这归结为结构性原因而非偶然，并明确把它列为未来值得深挖的方向。

对齐精度的几种"刻度"

论文专门用一整节讨论了"对齐"这件事到底要对齐到什么精度，这点很关键，因为不同任务对同步的容忍度天差地别。

唇形同步*：说话人脸视频里，嘴型动作和发出的音素必须精确匹配，容忍误差通常只有一帧左右，人眼对这种偏差极度敏感。

节奏对齐*：针对音乐视频，要求身体动作的峰值和音乐节拍重合，这类错位虽然同样会被察觉，但容忍度比唇形同步宽松得多。

论文指出，唇形同步是目前这个领域里要求最苛刻、同时也是评测指标和人类主观判断吻合度最高的子问题。这其实挺符合直觉：我们每天都在看人说话，大脑对"嘴型和声音对不上"这件事的识别能力经过几十年练习已经练到了近乎本能的程度,稍微慢个两三帧,普通观众就能一眼看出不对劲。相比之下，脚步声和踏地画面之间差个一两帧，很多人未必能察觉。这意味着做唇形同步的模型容错空间极小，而做环境音效或背景音乐生成的模型，在时间精度上反而能喘口气。

评测这件事，目前还很不成熟

论文坦率地指出了一个尴尬现实：现有的自动评测指标在衡量"单个模态质量"这件事上做得相当不错，但在衡量"音画是否真的匹配"这件事上普遍表现糟糕。

换句话说，一个模型完全可能生成了一段视觉上无可挑剔的画面，配上一段听感极佳的音频，两个指标分数都很高，但组合起来看就是不搭调，而现有的自动打分系统未必能捕捉到这种"貌合神离"。2026年的一项基准测试AVGen-Bench就直接指出了这个问题：当前模型在音画美学层面表现强劲，但在语义层面的可靠性上相当脆弱。

这提醒我们一件事：衡量一个系统好不好，不能只看它每个零件单独测试时的分数，还得看零件组装起来之后整体运转是否顺畅。这就像评价一支交响乐团，你不能只给小提琴手和大提琴手各自打分，真正重要的是他们合奏时听起来是不是一个整体。

谁在往前走：几个标志性工作

论文列举了大量具体方法，这里挑几个最有代表性的说一说。

Diff-Foley是视频到音频生成方向里相当早期也相当扎实的一个工作，它的核心做法是先用对比学习训练一个专门衡量"音画是否匹配"的编码器，然后让生成模型直接站在这个已经学会了对齐的表示空间上工作,相当于先把"眼睛"和"耳朵"的默契练好，再让它们合作创作。

MMAudio在这个基础上更进一步，专门给同步问题设计了一个独立的模块,这反映了一种趋势：越到后面，研究者越倾向于把"对齐"当成一个值得单独投入资源解决的子问题，而不是指望主干网络顺带把它学会。

Ovi和UniAVGen这两个较新的工作，都在尝试用双塔架构加上专门设计的跨模态交互机制来同时处理唇形同步和音色一致性，这说明领域正在从"能不能生成"转向"生成得够不够细腻"。

Hallo-Live则瞄准了一个此前很少被认真对待的约束：实时性。它让每个生成的视频片段提前"偷看"一小段未来的语音线索，从而在保持流式低延迟的同时不牺牲唇形精度。这个设计挺巧妙的，它意味着模型不是等语音说完了再画嘴型，而是像同声传译员一样，边听边说、带着一点点预判往前走。

这几个工作放在一起看，能看出一条清晰的演化路径：最早期的方法满足于"能同时生成音画就不错了"，中期开始专门为对齐设计模块，到了最新这批工作，已经在琢磨实时性、身份保持这类更贴近实际应用的细节。

开放问题：这条路还有多远

论文最后列出了几个它认为最关键的未解难题。

长时间一致性是第一个,现有模型大多只能在几秒到几十秒的片段里保持音画对齐和身份稳定，一旦拉长到几分钟，误差会累积，人物身份和场景设定会慢慢"漂移"。这和短片段同步完全是两个量级的问题。

细粒度跨模态控制是第二个,目前大多数方法能做到"这段视频该配点声音"，但很难精确控制"具体是哪个物体在发声、什么时候发声、音量多大"，这种逐事件级别的精细控制能力还很欠缺。

物理合理性是第三个也是相当有意思的一个,论文提到一个专门的基准测试AV-Phys Bench，专门检验生成的音画对是否符合基本物理常识,比如一个很轻的物体掉落，声音却配得像铁块砸地。研究发现当前的联合生成模型经常在这类物理常识测试上栽跟头，这说明模型学会的更多是统计层面的相关性，而不是真正理解"重的东西声音沉、轻的东西声音脆"这种物理规律。

伦理和安全问题论文也没有回避：当同步生成说话人脸和语音变得越来越逼真，伪造身份的门槛也在同步降低，防伪水印和检测机制必须把音频和视频两条线一起纳入考量，单独防一边是不够的。

Q&A

Q1：音画同步生成和跨模态生成有什么区别？

A：联合生成是给模型一个条件（比如一段文字），让它同时产出视频和音频两样东西；跨模态生成是手里已经有一个模态，让模型补上另一个，比如给无声视频配音效，或者给语音生成说话人脸视频。区别在于"谁是条件、谁是输出"。

Q2：为什么大多数联合生成模型都用连续潜在扩散而不是离散词元？

A：论文发现29个方法里有28个都在连续潜在空间里用扩散或流匹配做生成，而离散词元化的音频或视频表示目前完全无人采用。原因之一是所有复用预训练骨架的方法，那些骨架本身无一例外都是连续潜在扩散模型，训练从零开始用离散词元的成本太高，暂时没人走这条路。

Q3：音画联合编辑领域目前发展成熟吗？

A：还很不成熟。论文整理出九大类二十八种编辑类型，发现配音和部分物体级内容编辑已经有专门方法，但场景环境编辑、叙事级剪辑、联合补全扩展、联合修复去噪这些方向，目前几乎都是空白，没有专门的学习型方法覆盖。

标签： 模态 视频 编码器 生成器 旗舰基座模型