给系统一段真实音乐，它要决定什么时候抬手、哪根鼓槌打哪面鼓，还要让肩膀和躯干看起来像人在演奏。迪士尼研究工作室、特拉维夫大学、苏黎世联邦理工提出一套音频驱动的扩散模型，把身体自然度和鼓槌落点精度分开优化，生成动作可达到厘米级落点控制。
论文获SCA 2026最佳论文奖。它处理的是3D角色动画，不是实体机器人打鼓；“跟着任意音乐”指对未精心整理的真实音频具有泛化能力，仍受训练鼓组、动作捕捉和音频分布限制。
MIDI给得太直接，真实音乐没有标准答案
早期方法常用MIDI驱动动作。MIDI已经写明哪一时刻触发哪件乐器，模型少做了最难的音频理解。真实歌曲混有吉他、人声、环境声和不同录音增益，鼓点位置与类别都需要从波形中判断。
团队同步采集动作捕捉和MIDI演奏，再把MIDI用不同鼓组音色合成多份音频，并随机加入滤波与增益变化。一个动作样本因此对应多种声音外观，模型被迫抓住节奏与击打事件，而不是记住某套音色。
论文系统图：动作捕捉与MIDI形成训练数据，扩散模型生成动作，空间和时间指标分别检查落点与节奏。
身体自然和鼓槌准确不能共用一把尺子
只压低全身关节误差，手腕和鼓槌的细小偏差很容易被躯干、腿部的大量关节平均掉。画面看起来像在打鼓，鼓槌却可能敲在鼓边外面。若只追鼓槌坐标，身体又会出现僵硬或不连贯的补偿动作。
新方法在扩散模型上使用双目标损失：身体与关节旋转负责保持自然动作，鼓槌尖端位置单独承担精确击打。动作表示也把身体旋转和鼓槌位置拆开，让厘米级空间误差能直接进入训练信号。
论文对比图：仅优化旋转时鼓槌轨迹偏离鼓面，双目标版本的击打轨迹更集中。
两个新指标专门检查“敲没敲准”
论文提出Impact-to-Target Distance，计算检测到的击打点与目标鼓面之间的空间距离；另一个Percussive Alignment Score比较音频击打和动作击打在时间上的对齐。传统关节位置误差很难区分一次漂亮挥臂和一次真正命中。
论文鼓组配置：数字标注军鼓、底鼓、踩镲、通鼓和镲片等十类可击打部件。
作者还用聚类过滤鼓槌轨迹噪声，定位每个部件的真实击打中心。定量实验和用户研究显示，生成结果优于对照方法，部分片段会被参与者判断为真实动作。用户无法稳定区分并不等于每个鼓点都准确，空间与时间指标仍需一起看。
生成动作还能反向转成鼓谱事件
模型输出包含鼓槌和鼓组接触关系，因此可以把动作再转换成MIDI事件。论文展示的测试片段中，现有鼓转录方法会混淆通鼓类型或漏掉事件，而“音频到动作、动作到MIDI”的链条与真实MIDI对齐得更完整。
论文主视觉展示音频驱动的鼓手动作与鼓槌落点，强调从声音到精确击打的生成任务。
这项能力可用于动画预演、虚拟演出和互动音乐教学。它目前依赖固定鼓组几何与动作捕捉数据，不代表能为任意乐器直接生成同样精确的演奏动作。
下一步是扩展乐器、身体与实时交互
后续研究可以把鼓面位置、鼓组尺寸和角色体型作为条件，让同一段音乐适配不同设备与人物；还要检验持续数分钟演奏时的动作重复、疲劳感和节奏漂移。若用于实时虚拟演出，延迟、流式音频和临时节奏变化也需要单独评测。
论文已把“动作像不像”细化成“鼓槌是否在正确时刻落到正确位置”。这套评估思路同样适合键盘、打击乐和其他高度依赖接触点的角色动画，但每种乐器仍需对应的几何与数据。
