多模态大模型

From Geometric Labels to Semantic Understanding of Indoor Building Components Using Multimodal Large Language Models

使用多模态大语言模型从几何标签到室内建筑组件的语义理解

Shuju Jing, Chao Yin

机构 * School of Qilu Transportation, Shandong University（山东大学齐鲁交通学院） ； Guangzhou Institute of Geography, Guangdong Academy of Sciences（广东省地理研究所） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对室内建筑组件，提出以点云为中心的多模态大语言模型Building-MLLM，通过特定机制解决语义集中问题，开发引擎编译数据集，实验表明其在多任务上表现优异，提升室内组件语言理解。

Comments 46 pages, 13 figures, accepted by Automation in Construction journal

DGSeg: Dynamic Gating of Semantic-Spatial Guided Predictions for Reasoning Segmentation

DGSeg：用于推理分割的语义-空间引导预测的动态门控

Ruizhe Zeng, Siyu Cao, Lu Zhang, Zhiyong Liu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Nanjing Artificial Intelligence Research of IA（中国科学院自动化所南京人工智能研究院） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究推理分割问题，提出DGSeg框架，借助MLLM生成语义和空间线索，经动态门控模块自适应融合预测，抑制噪声或冲突区域，在多基准测试中表现出色。

Comments Accepted to ECCV2026

Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

将交错多模态推理作为统一决策过程进行衔接

Zican Hu, Xuyang Hu, Yiming Liu, Zuwei Long, Wei Liu, Yunzhuo Hao, Jiawei Gu, Linjie Li, Yu Cheng, Zhenhong Sun, Weibo Gu, Xing Sun, Zhi Wang

机构 * Nanjing University（南京大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； University of Washington（华盛顿大学） ； The Chinese University of Hong Kong（香港中文大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；image-text(abstract)；分类 cs.AI

AI总结 研究统一多模态模型中强化学习优化多轮生成的问题，提出BRAID框架，将文本-图像-文本推理视为统一马尔可夫决策过程，通过单一强化学习目标联合优化文本和视觉生成，实验表明该框架性能优于基线。

Comments 22 pages, 8 figures

Echoes of Unrest: A Multimodal NLP Framework for Early Warning of Fake News and Violence-Driven Mob Activity

动荡的回声：用于假新闻和暴力驱动的暴民活动早期预警的多模态NLP框架

Md. Maruf Bangabashi, Tahmid Hasan, Golam Mahmud, Md. Mostafijur Rahman, Md. Toufiqur Rahman, Jahanur Biswas

机构 * Department of Computer Science and Engineering, Dhaka International University（达卡国际大学计算机科学与工程系） ； Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（孟加拉国工程技术大学计算机科学与工程系） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对社交媒体上错误信息传播引发危害的问题，提出多语言、多模态NLP框架。通过融合多基准数据集创建数据集，集成多种技术进行多模态融合，实验显示该框架在早期错误信息检测中有效。

Comments Accepted for publication as a book chapter (Taylor & Francis, 2026)

A Multimodal Reasoning Typology for Grounding Chart-Image Coherence in Science Communication

面向科学传播中图表-图像连贯性锚定的多模态推理类型学

Avina Nakarmi, Sohom Sen, Xun Song, Sreyashi Samaddar, Aritra Dasgupta

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Brooklyn College（布鲁克林学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出R1-R5多模态推理类型学，刻画科学文献中图表、图像与文本的协同推理缺口，可系统识别连贯性锚定状态，缩小不同人群解读科学结论的认知差距。

WorldBagel: Uncovering the Power of Unified Multimodal Models for Vision-Language-Action-World Modeling

WorldBagel：揭示统一多模态模型在视觉-语言-动作-世界建模中的力量

Zelin Zhao, Min Shi, Bo Yuan, Haotian Xue, Jialuo Li, Lama Moukheiber, Humphrey Shi, Yongxin Chen

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究统一多模态模型在视觉-语言-动作-世界建模中的作用，基于BAGEL构建WorldBagel框架，通过多任务机器人操作等实验，发现统一不仅便利，更是学习有效模型的关键因素。

Comments Rejected by ECCV 2026, Arxiv Paper

H-OPD: Confidence Aware Heterogeneous Multi-Teacher Multimodal On-policy Distillation

H-OPD：置信感知异构多教师多模态在线策略蒸馏

Qixiang Yin, Huanjin Yao, Yuchen Cai, Jianghao Chen, Ziyi Wang, Min Yang, Fei Su, Zhicheng Zhao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； ByteDance（字节跳动） ； USTC（中国科学技术大学） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） ； Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部互动技术与体验系统重点实验室） ； Zhongguancun Academy（中关村科学城） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态推理的在线策略蒸馏问题，提出H-OPD框架，通过验证异构教师互补性，以令牌级教师仲裁取代任务或样本级路由，结合视觉与文本教师，在多基准测试中性能优越。

Comments Technical report(work-in-progress). Code will be available at \url{https://github.com/buptyqx/H-OPD}

PhenoNEST: A Neuro-Symbolic Framework for Ontology-Aware Multimodal Plant Phenotyping and Trait Discovery

PhenoNEST：用于本体感知多模态植物表型分析和性状发现的神经符号框架

Jayant Ghadge, Soumyashree Kar, Surya S. Durbha

机构 * Centre of Studies in Resources Engineering (CSRE)（资源工程研究中心） ； Indian Institute of Technology Bombay（孟买印度理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)

AI总结 提出构建多模态粒状知识图谱框架，以弥合语义鸿沟，通过蒸馏野外记录提取实体和关系，结合模型与本体对齐，经视觉语言模型生成软图，引入节点连接多模态子图，成功映射野外观察，助力小麦育种。

RADIO1D: Elastic Representations for Condensed Vision Modeling

RADIO1D：用于压缩视觉建模的弹性表示

Greg Heinrich, Mike Ranzinger, Collin McCarthy, Natan Bagrov, Eugene Khvedchenya, Bryan Catanzaro, Jan Kautz, Andrew Tao, Pavlo Molchanov

机构 * NVIDIA（英伟达） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 挑战视觉语言模型需固定基于补丁的2D视觉特征的假设，分析微调视觉编码器，基于发现引入RADIO1D，用多教师知识蒸馏等将图像压缩成1D令牌序列，有强分层总结能力，在多模态基准测试中有优势。

Comments Published as main conference paper at ICML 2026

Overloading Large Vision-Language Models for Jailbreaking

通过信息过载对大型视觉语言模型进行越狱攻击

Haoyu Zhang, Yangyang Guo, Mohan Kankanhalli

机构 * National University of Singapore（新加坡国立大学） ； Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究大型视觉语言模型易受越狱攻击问题，提出基于递归图像排版布局的信息过载方法，含大量文本和多维图像攻击，大幅提升攻击成功率，凸显此为现实部署安全风险。

Explainable Novel Category Discovery in Semantic Concept Space

语义概念空间中的可解释新类别发现

Ifrat Ikhtear Uddin, Yang Zhou, KC Santosh, Longwei Wang

机构 * Department of Computer Science, University of South Dakota（南达科他大学计算机科学系） ； Department of Computer Science and Software Engineering, Auburn University（奥本大学计算机科学与软件工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出xNCD框架，在结构化语义概念空间进行基于表示的发现和伪标签分配，通过视觉与语言先验对齐学习无标签概念表示，使发现类别可解释，实验证明其有强发现性能和内在解释。

IRIS: An Intelligent Vision-Language System for Ocular Surface Diseases via Topic Tree and Scene-Driven VQA Generation

IRIS：一种通过主题树和场景驱动的VQA生成用于眼表疾病的智能视觉语言系统

Hao Wei, Wenjin Qi, Dasen Dai, Minqing Zhang, Wu Yuan

机构 * The Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对眼表疾病领域缺乏多模态数据问题，引入IRIS系统。构建IRIS-120K数据集，提出协同数据生成范式，含主题发现树和场景驱动策略，使4B参数VLM性能达最优。

Comments 11 pages, 3 figures

Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models

标准条件上下文学习：评估视觉语言模型中的标准转移适应性

Kaiyun Yang, Ruilin Yang, Zhimin Yao, J. Wang, Wei Ge

机构 * Megvii Technology Inc., Beijing, China（美科科技有限公司，北京，中国） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出标准条件上下文学习（CC-ICL）新设置，模型需从上下文推断潜在标准并据此调整预测。为此提出两个评估指标，构建CC-Bench基准。实验发现多数模型有边界偏差，简单多标准训练可改善。

Comments Accepted by ICML 2026

Solve the Missing First Step: Can VLMs Standardize Raw Heterogeneous Medical Data?

解决缺失的第一步：视觉语言模型能否标准化原始异构医学数据？

Xin Chen, Dongliang Xu, Cunhao Zhu, Xudong Luo, Haoyang Lyu, Xiaoxiao Sun, Serena Yeung-Levy, Yue Yao

机构 * Shandong University（山东大学） ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 研究视觉语言模型应用于医学AI时原始医学数据标准化问题，通过构建基准测试，让模型处理原始数据集文件夹，评估其多种能力，发现即使最佳模型端到端成功率也低，凸显该环节是医学AI诊断关键瓶颈。

Comments 16 pages, 7 figures

CAC-VLA: Context-Gated Action Conditioning for Vision-Language-Action Models

CAC-VLA：用于视觉-语言-动作模型的上下文门控动作条件调节

Yifu Xiong, Wenhao Yu, Jiaxuan Lin, Bojun Zou, Jiahao Li, Lu Zhang, Yanyong Zhang, Jianmin Ji

机构 * University of Science and Technology of China (USTC)（中国科学技术大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究视觉-语言-动作模型，提出上下文门控动作条件调节框架CAC-VLA，在视觉语言模型中学习轻量级潜在动作接口，训练模型预测潜在动作并通过上下文门调节动作专家，实验验证其有效性。

Comments 16 pages, 6 figures

SEAM: Smooth Execution of Action-Chunked Motion for Vision-Language-Action Policies

SEAM：用于视觉-语言-动作策略的动作块运动平滑执行

Dijia Zhan, Xuemiao Xu, Jinyi Li, Jie Tang

机构 * South China University of Technology（南方科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 研究视觉-语言-动作策略中动作块执行的多模态分叉问题，提出无训练推理时的SEAM方法，利用同步执行见解，通过速度引导损失转向机制减少边界抖动和块过渡不连续性。

Comments 8 pages, 4 figures, 5 tables

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

ViPo-MLLM：用于无注释手语翻译的视觉-姿势多模态大语言模型

Ahmed Abul Hasanaath, Bicheng Xu, Mir Rayat Imtiaz Hossain, Leonid Sigal, Hamzah Luqman

机构 * King Fahd University of Petroleum and Minerals（国王法赫德石油矿物大学） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究尝试无注释手语翻译，提出ViPo-MLLM框架结合时空RGB和人体姿势特征，用专用编码器与交叉模态注意力，经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果，验证了机制有效性。

OpenGlass: A Sensing-Computing Split Architecture for Local MLLM-Driven Real-Time Visual Assistance

OpenGlass：用于本地MLLM驱动的实时视觉辅助的传感-计算分离架构

Mengzhang Li, Yuan Yao

机构 * Shanghai Qizhi Institute（上海期智研究院） ； College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 音频语音多模态 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对视障和低视力用户，OpenGlass以传感-计算分离解决云MLLM辅助需上传数据、有网络延迟，以及可穿戴眼镜计算和电量受限问题，在本地设备实现低延迟多模态视觉辅助，并给出评估结果。

Comments Accepted to ACL 2026 System Demonstrations. 11 pages, 5 figures, 8 tables

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations), pages 829-839, 2026

EVAS: Efficient Multimodal Temporal Forgery Localization via Audio-Visual Synergy and Steered Boundary Calibration

EVAS：通过视听协同和引导边界校准实现高效多模态时间伪造定位

Shen Shen, Quan Zhang, Dan Jiang, Ke Zhang

机构 * Soochow University（苏州大学） ； Tsinghua University（清华大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对人工智能生成内容带来的多模态取证挑战，提出EVAS框架，利用多阶段视听协同机制和边界感知细化策略，结合解耦训练范式与轻量级网络，有效定位长视频中稀疏分布的伪造片段。

Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering

Q-TriM：用于视听问答的问题引导三模态注意力

SungHun Kim, SeungJun Baek

机构 * Dept. of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究视听问答问题，提出Q-TriM以浅并行方式进行多模态融合，引入基于文本的视频和音频注意力操作框架，避免深度堆叠融合的问题，在三个基准测试中达最优性能。

Comments Accepted at ECCV 2026

Jointly Improving Dialect Identification and ASR in Indian Languages using Multimodal Feature Fusion

使用多模态特征融合联合改进印度语言中的方言识别和自动语音识别

Saurabh Kumar, Amartyaveer, Prasanta Kumar Ghosh

机构 * Department of Electrical Engineering（电气工程系） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、eess.AS

AI总结 针对印度低资源且方言差异大的语言，提出多模态框架联合改进方言识别和自动语音识别。用瓶颈编码器和RoBERTa编码器提取融合特征，经门控和注意力编码器处理，提升了识别准确率和降低错误率。

Conversational Human Audio-visual Talking Dialogue Generation

对话式人类视听对话生成

Junhao Song, Lluis Guasch, Xilin He, Zhongyu Yang, Yingfang Yuan, Weicheng Xie, Linlin Shen, Haijun Lin, Shizhe Liu, Wei Pang, Siyang Song

机构 * Department of Computing, Imperial College London（伦敦帝国理工学院计算系） ； Department of Earth Science & Engineering, Imperial College London（伦敦帝国理工学院地球科学与工程系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Computer Science, Heriot-Watt University（赫瑞瓦特大学计算机科学系） ； School of Computer Science, Northumbria University（诺森比亚大学计算机科学学院） ； College of Computer Science & Software Engineering, Shenzhen University（深圳大学计算机科学与软件学院） ； School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University（深圳大学广东省智能信息处理重点实验室） ； School of Engineering and Design, Hunan Normal University（湖南师范大学工程与设计学院） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV

AI总结 提出CHAT框架，统一大语言模型和说话人脸模型，通过交互音频和面部行为细化模块，从单一文本提示生成多样、配对且相互响应的语音-面部对话片段，优于现有方法，合成数据集可作预训练数据。

Comments Accepted to ECCV 2026 as a main paper

Probing Low-Level Acoustic Attribute Encoding in CLAP Audio Embeddings

探测CLAP音频嵌入中的低层声学属性编码

Héctor Martel, Joe Hennessy-Priest, Taemin Cho

机构 * BandLab Technologies（BandLab技术公司） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.AI、eess.AS

AI总结 该研究通过探测框架分析CLAP音频嵌入，探究混响、响度等三类基础声学属性的编码方式，发现多数属性可恢复，存在线性与非线性两种编码模式，还验证了跨模态一致性。

Comments Accepted to DAFx 2026

AudioX-Turbo: A Unified Framework for Efficient Anything-to-Audio Generation

AudioX-Turbo：高效任意到音频生成的统一框架

Zeyue Tian, Lei Ke, Zhaoyang Liu, Ruibin Yuan, Liumeng Xue, Yujiu Yang, Weijia Chen, Xu Tan, Qifeng Chen, Wei Xue, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Noiz AI ； Independent Researcher（独立研究员） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 提出AudioX-Turbo，基于教师-学生范式的统一高效框架，通过多模态扩散Transformer和分布匹配蒸馏实现文本、视频、音频到音频的生成，仅需4步采样，NFE减少约25倍。

Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

用于全模态密集视频字幕的并行自回归解码

Wenzheng Zeng, Siyi Jiao, Chen Gao, Hwee Tou Ng, Mike Zheng Shou

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究密集视频字幕生成，提出并行自回归框架，利用事件间弱局部依赖重组因果依赖图，引入全局规划和事件分解并行解码机制，提升效率与字幕性能。

Comments ECCV 2026. Project website: https://github.com/showlab/PadCaptioner

K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos

K9-Bench：在以犬类为中心的视频上评估多模态大语言模型

Khush Attarde, Yusuf Ali, Megha Thukral, Divye Bhutani, Thomas Ploetz, Zsolt Kira

机构 * Ogmen Robotics Inc.（Ogmen机器人公司） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 介绍K9-Bench基准，通过约5000个问答对测试多模态大语言模型对犬类动作和互动理解。提出数据生成管道创建数据集，发现前沿模型在犬类任务上零样本性能有限，还提供通用数据集构建管道。

GlacierCastAI: Predicting Glacier Retreat from Multi-Modal Satellite Imagery and Climate Signals

GlacierCastAI：从多模态卫星图像和气候信号预测冰川退缩

Arunkumar Ramachandran

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 研究将冰川边界预测重构为多模态时空预测问题，融合多源数据，用特定架构预测冰川边界，对比传统基线及实验条件，发现气候信号有预测信息，深度学习模型优于传统基线。

Comments 6 pages, 5 figures. Code available at GitHub

VideoAgent: All-in-One Framework for Video Understanding and Editing

VideoAgent: 视频理解与编辑的全能框架

Hengji Zhou, Lingxuan Huang, Jian Wang, Bing Zhou, Si Wu, Lianghao Xia, Chao Huang

机构 * South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） ； Snap Inc（Snap公司） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出VideoAgent，一种基于多智能体编排的全能框架，通过自动镜头创建和30多个专业编辑智能体，解决现有系统在长视频理解和多样化编辑操作上的局限，在VideoEdit基准上实现87-95%编排成功率并降低60% API成本。

Comments Preprint. Code available at https://github.com/HKUDS/VideoAgent

GuideMe: Multi-Domain Task Guidance and Intervention in Streaming Video

GuideMe：流视频中的多域任务指导与干预

Fang Liu, Jinpeng Chen, Ke Xu, Yuhao Liu, Huankang Guan, Xudong Lu, Bo Yang, Gerhard Hancke, Rui Liu, Rynson W. H. Lau

机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。

Comments ECCV 2026

DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics

DynaVieW：用于理解分层视觉动态的模式引导世界建模

Silin Gao, Hao Zhao, Zeming Chen, Sepideh Mamooler, Antara Raaghavi Bhattacharya, Qiyu Wu, Hiromi Wakaki, Yuki Mitsufuji, Li Mi, Syrielle Montariol, Antoine Bosselut

机构 * EPFL, Switzerland（瑞士联邦理工学院） ； Harvard University（哈佛大学） ； Sony Group Corporation（索尼集团） ； ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态语言模型难以系统建模视频视觉场景时间演变的问题，提出DynaVieW模型，通过学习交错状态转换序列理解视觉动态，在多架构下联合建模，提升下游视觉叙事创作等任务表现。

Comments ICML 2026