TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading
TVTA:基于轨迹感知的视素引导的基于事件的唇读时间聚合
机构 * Harbin Institute of Technology(哈尔滨工业大学)
AI总结 针对基于事件唇读方法的局限,提出时间增强框架,引入轨迹感知差分聚合、视素引导聚合及指数移动平均师生训练策略,在DVS-Lip基准上验证有效性,消融研究验证各部分贡献,定性结果表明学到有意义视素感知结构。