视频大模型

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

面向多跳音视频推理的主动全模态感知代理

Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长视频与时序推理 ：long video(abstract)

AI总结 针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。

Agentic AI for Personalized Physiotherapy: A Multi-Agent Framework for Generative Video Training and Real-Time Pose Correction

代理AI用于个性化物理治疗：一种多代理框架用于生成视频训练和实时姿态校正

Abhishek Dharmaratnakar, Srivaths Ranganathan, Anushree Sinha, Debanshu Das

专题命中 长视频与时序推理 ：video generation(abstract)

AI总结 本文提出多代理系统框架，结合生成AI和计算机视觉，解决家庭物理治疗依从性低的问题，通过生成个性化视频和实时姿态校正提升康复效果。

Comments 3 pages, 2 figures, submitted to ICDH IEEE conference

StreamWise: Serving Multi-Modal Generation in Real-Time at Scale

StreamWise: 实时大规模多模态生成服务

Haoran Qiu, Gohar Irfan Chaudhry, Chaojie Zhang, Íñigo Goiri, Esha Choukse, Rodrigo Fonseca, Ricardo Bianchini

机构 * Microsoft Azure Research（微软Azure研究院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)

AI总结 StreamWise通过实时播客视频生成，整合LLM、文本转语音和视频音频生成，实现高效多模态实时服务，兼顾延迟、成本和质量。

FUTURE-VLA: Forecasting Unified Trajectories Under Real-time Execution

FUTURE-VLA：在实时执行下统一轨迹预测

Jingjing Fan, Yushan Liu, Shoujie Li, Botao Ren, Siyuan Li, Xiao-Ping Zhang, Wenbo Ding, Zhidong Deng

机构 * Department of Automation, Tsinghua University（自动化系，清华大学） ； Shenzhen International Graduation School, Tsinghua University（深圳国际研究生院，清华大学） ； Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学） ； School of Mechanical and Aerospace Engineering, Nanyang Technological University（机械与航空航天工程学院，南洋理工大学） 纠错

专题命中 长视频与时序推理 ：long video(abstract)

AI总结 FUTURE-VLA通过实时执行实现统一轨迹预测，采用双效效率范式提升时空信息密度，实现实时预测与人机交互机制，取得多项任务的高成功率。

Where Do the Joules Go? Diagnosing Inference Energy Consumption

焦耳去哪儿了？诊断推理能耗

Jae-Won Chung, Ruofan Wu, Jeff J. Ma, Mosharaf Chowdhury

机构 * University of Michigan \& The ML.ENERGY Initiative 纠错

专题命中 长视频与时序推理 ：video generation(abstract)

AI总结 研究通过大规模测量发现生成式AI中不同任务和硬件配置对能耗的影响差异，并提出框架解释能耗与利用率等隐含指标的关系，为优化数据中心能耗提供依据。

Comments The ML ENERGY Leaderboard v3.0 is open at https://ml.energy/leaderboard

TARFVAE: Efficient One-Step Generative Time Series Forecasting via TARFLOW based VAE

TARFVAE：通过TARFLOW基于VAE实现高效的单步生成时间序列预测

Jiawen Wei, Lan Jiang, Pengbo Wei, Ziwen Ye, Teng Song, Chen Chen, Guangrui Ma

机构 * Meituan（美团） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)

AI总结 TARFVAE结合Transformer自回归流与VAE，实现高效单步生成时间序列预测，提升预测效率与性能。

Hierarchical Indexing with Knowledge Enrichment for Multilingual Video Corpus Retrieval

Yu Wang, Tianhao Tan, Yifei Wang

机构 * School of Computing and Information, University of Pittsburgh, PA, USA（计算与信息学院，匹兹堡大学） ； Wuhan University of Technology（武汉理工大学） ； Hunan University（湖南大学） 纠错

专题命中 长视频与时序推理 ：long video(abstract)

Comments Accepted to NLPCC 2025 (Springer), to appear November 2025

Extracting Visual Plans from Unlabeled Videos via Symbolic Guidance

Wenyan Yang, Ahmet Tikna, Yi Zhao, Yuying Zhang, Luigi Palopoli, Marco Roveri, Joni Pajarinen

机构 * Department of Electrical Engineering and Automation, Aalto University（艾尔沃斯大学电气工程与自动化系） ； Department of Engineering and Computer Science, University of Trento（特伦托大学工程与计算机科学系） 纠错

专题命中 长视频与时序推理 ：video generation(abstract)

Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis

Long Cheng, Qichen Liao, Fan Wu, Junlin Mu, Tengfei Han, Zhe Qiu, Lianqiang Li, Tianyi Liu, Fangzheng Miao, Keming Gao, Liang Wang, Zhen Zhang, Qiande Yin

专题命中 长视频与时序推理 ：video generation(abstract)

Comments 21 Pages, 14 figures, conference paper

ElasticTok: Adaptive Tokenization for Image and Video

Wilson Yan, Volodymyr Mnih, Aleksandra Faust, Matei Zaharia, Pieter Abbeel, Hao Liu

专题命中 长视频与时序推理 ：long video(abstract)

VIEW: Visual Imitation Learning with Waypoints

Ananth Jonnavittula, Sagar Parekh, Dylan P. Losey

专题命中 长视频与时序推理 ：long video(abstract)

Comments 27 pages, 17 figures

G$^{2}$TR: Generalized Grounded Temporal Reasoning for Robot Instruction Following by Combining Large Pre-trained Models

Riya Arora, Niveditha Narendranath, Aman Tambi, Sandeep S. Zachariah, Souvik Chakraborty, Rohan Paul

专题命中 长视频与时序推理 ：video-language(abstract)

Alleviating Video-Length Effect for Micro-video Recommendation

Yuhan Quan, Jingtao Ding, Chen Gao, Nian Li, Lingling Yi, Depeng Jin, Yong Li

专题命中 长视频与时序推理 ：long video(abstract)

Comments Accept by TOIS

A Human-ML Collaboration Framework for Improving Video Content Reviews

Meghana Deodhar, Xiao Ma, Yixin Cai, Alex Koes, Alex Beutel, Jilin Chen

专题命中 长视频与时序推理 ：long video(abstract)

Comments 5 pages, Human-in-the-Loop Data Curation Workshop CIKM'22

Real Algebraic Geometry, Positivity and Convexity

Markus Schweighofer

专题命中 长视频与时序推理 ：long video(abstract)

Comments 195 pages

Approximate Selection with Guarantees using Proxies

Daniel Kang, Edward Gan, Peter Bailis, Tatsunori Hashimoto, Matei Zaharia

专题命中 长视频与时序推理 ：long video(abstract)

Journal ref PVLDB 2020