AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
视觉-语言模型中空间变量绑定的双重机制
机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） ； Sony Playstation（索尼PlayStation）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文揭示视觉-语言模型通过语言骨干中的内容无关空间关系编码和视觉编码器中的全局布局表示两种机制实现空间变量绑定，其中视觉编码器起主导作用。
Comments 37 pages, 53 figures
M2S-AVSR：面向鲁棒视听语音识别的模态感知多视角自监督表示
机构 * School of Artificial Intelligence and the School of Computer Science, Wuhan University, China（人工智能学院和计算机科学学院，武汉大学，中国） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（人工智能学院，香港中文大学（深圳），中国） ； School of Artificial Intelligence, Wuhan University, China（人工智能学院，武汉大学，中国）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 eess.AS
AI总结 提出一种模态感知多视角自监督表示框架（M2S-AVSR），通过多视角编码学习视角不变视觉语音表示，并利用模态感知模块进行细粒度融合，以应对视角变化、音频失真和视觉遮挡等挑战，在多个基准上取得最优性能。
Comments submitted to IEEE Transactions on Audio, Speech, and Language Processing
MorphoQuant: 面向全模态大语言模型的模态感知量化
机构 * institutetext: MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models Yue Wu Changyuan Wang Zixuan Wang Shilin Ma Yansong Tang（机构文本：MorphoQuant：多模态大语言模型的模态感知量化 Yue Wu 王昌元 王梓轩 马世林 唐彦松）
专题命中 视频多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MorphoQuant框架，通过分布感知偏差补偿和形态导向量化函数优化，解决全模态大语言模型在4比特后训练量化中的分布异质性和异常值问题，实现精度与效率的优异平衡。
增强视频表示中的时空语义残差以缓解视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； University of Toronto（多伦多大学） ； Dalian University of Technology（大连理工大学） ； Sun Yat-sen University（中山大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出ViSSRes方法，通过轻量级MLP网络学习视频表示的残差，从时空和语义一致性优化，在推理时仅需单次前向传播，有效降低幻觉率并提升视频理解性能。
Comments Preprint
探究多模态大语言模型在中国短视频虚假信息中的认知偏差
机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。
Comments Accepted to ACL 2026 (Findings)
高速公路立交匝道流量预测的代理重建预训练
机构 * Southeast University（东南大学） ； Institute of Telecommunications and Information Sciences, China（中国电信与信息科学研究院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI
AI总结 提出时空解耦自编码器（STDAE），通过跨模态重建预训练从主线数据恢复匝道流量，结合GWNet等模型提升预测精度，在真实数据集上超越13个基线。
Comments Accepted at Applied Soft Computing Journal
Journal ref Applied Soft Computing Journal 200 (2026) 115462
SERNF: 通过动作块评论家和归一化流实现样本高效的真实世界灵巧策略微调
机构 * Soft Robotics Lab, D-MAVT（软机器人实验室，D-MAVT） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出SERNF框架，结合归一化流策略和动作块评论家，实现真实世界灵巧操作策略的样本高效微调，解决多模态动作分布和信用分配问题。
Comments https://srl-ethz.github.io/SERNF/
减法让你获得更多：面向多模态多跳问答的差距感知检索
专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 针对多模态多跳问答中的证据集补全和序列池构建任务，提出GRAIL框架，通过隐式查询重写和上下文减法查询引导，解决语义锚定问题，实现组合跨模态推理，在MultimodalQA上获得40.3%的宏平均性能提升。
LoomVideo: 统一多模态输入到视频生成与编辑
机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出LoomVideo，一种5B参数的高效统一架构，通过多模态大语言模型和零开销Scale-and-Add条件机制，实现视频生成与编辑，显著降低计算复杂度并加速推理。
忠实、丰富且精确：T2I模型在自然科学插图生成中的基准测试
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Nankai University（南开大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； ZODA ； Alaya Studio（Alaya工作室）
专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 提出FEPBench基准，通过细粒度原子集标注和三维评估（指令忠实性、推理丰富性、语义精确性）系统评估T2I模型在自然科学插图生成中的表现，发现即使最先进的闭源模型仍存在文本渲染瓶颈、推理丰富性有限以及生成丰富性与精确性难以平衡的问题。
基于结构化步态-语言表示的LLM条件病理步态合成
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； MIT Media Lab（麻省理工学院媒体实验室）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一种多模态LLM引导框架，通过结构化文本描述合成病理步态3D数据，利用运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成，改善下游分类性能。
Comments Accepted at CVPR MOMA Workshop 2026 and selected for spotlight presentation at the workshop
基于物理引导的条件扩散模型的超材料吸收体逆向设计
机构 * Centre for Electromagnetics, CSIR-National Aerospace Laboratories（电磁研究中心，国家航空航天实验室） ； Birla Institute of Technology and Science, Pilani（比拉理工学院，皮兰） ； Indian Institute of Technology, Bombay（孟买印度理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出了一种基于物理引导的条件扩散框架，用于设计具有特定电磁响应的超材料吸收体，通过特征线性调制和预训练的替代电磁模拟器，提高了设计效率和条件准确性，实验表明该方法在2-18GHz频率范围内能够快速生成实用的超材料结构。
MCERF：通过增强检索推进工程文档的多模态大语言模型评估
机构 * School of Mechanical, Aerospace, and Manufacturing Engineering, University of Connecticut, Storrs, CT 06269（机械、航空航天与制造工程学院，康涅狄格大学，斯托尔斯，CT 06269） ； Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（机械工程系，麻省理工学院，剑桥，MA 02139，美国）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出MCERF框架，结合多模态检索器ColPali与大语言模型推理，通过混合查找、视觉文本融合、高推理和自一致性决策等策略，在DesignQA基准上实现平均准确率相对提升41.1%，无需完整规则书摄入即可处理工程文档中的多模态问答。
OmniSch：面向结构化图表视觉推理的多模态PCB原理图基准
机构 * Pennsylvania State University, USA（宾夕法尼亚州立大学） ； Independent Researcher（独立研究者） ； Binghamton University, USA（布ingham顿大学） ； Shanghai Jiao Tong University, China（上海交通大学） ； Microsoft Research（微软研究院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出首个多模态PCB原理图理解基准OmniSch，包含四项任务评估大模型在视觉定位、图推理和几何推理上的能力，揭示现有模型在工程图表理解上的显著差距。
OGA-AID：用于中风后康复多模态观察性步态分析的临床医生在环AI报告起草助手
机构 * Rehabilitation Research Institute of Singapore, Nanyang Technological University, Singapore（新加坡康复研究中心，南洋理工大学，新加坡） ； Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（李光前医学院，南洋理工大学，新加坡） ； The Grainger College of Engineering, University of Illinois Urbana-Champaign, United States（伊利诺伊大学厄巴纳-香槟分校格雷格学院，美国） ； Department of Rehabilitation Sciences, The Hong Kong Polytechnic University, Hong Kong（香港理工大学康复科学系，香港） ； VinUni-Illinois Smart Health Center, VinUniversity, Vietnam（Vin大学Vin-伊利诺伊智能健康中心，越南） ； Institute of Rehabilitation Excellence, Tan Tock Seng Hospital, NHG Health, Singapore（卓越康复研究所，坦托克桑格医院，NHG健康，新加坡）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出OGA-AID，一种临床医生在环的多智能体大语言模型系统，通过协调三个专业智能体合成患者运动记录、运动学轨迹和临床资料，生成结构化步态评估报告，在真实患者数据上优于单次多模态基线，并展示了AI辅助分析与人类临床判断的互补关系。
Comments 2026 CV4Clinic CVPR Workshop Proceedings
HiPS： doctrinal法律书籍的分层PDF分割
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出HiPS，用于分层PDF分割doctrinal法律书籍，提供了一个包含49本开放获取法律书籍的黄金标准基准，包含9812个手动编纂的标题、层级和页面锚点，同时引入了基于目录和无目录的分割管道，以提高标题检测、层级重建和边界分配的准确性。
Comments 11 pages, 9 figures. Accepted as a demo paper at ICAIL 2026. This arXiv version includes an appendix, new results, bug fixes, and presentation improvements beyond the earlier preprint; consequently, some reported numbers differ
面向视觉原生多模态深度搜索智能体的在策略数据演化
机构 * Hong Kong University of Science and Technology（香港理工大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； University of Edinburgh（爱丁堡大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出在策略数据演化（ODE）框架，通过图像库引用协议和闭环数据生成器，解决多模态深度搜索中视觉证据不可复用和训练数据静态问题，在8个基准上显著提升性能。
Agent规划基准：LLM Agent规划能力的诊断框架
机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CL
AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。
AutoTool: 面向智能体推理的动态工具选择与集成
机构 * Nanyang Technological University（南洋理工大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL；multi-modal(comments)
AI总结 提出AutoTool框架，通过双阶段优化（SFT+RL轨迹稳定化和KL正则化Plackett-Luce排序）使大语言模型具备动态工具选择能力，在数学、科学、代码和多模态推理等任务上平均提升6.4%-7.7%。
Comments ICML2026; Best Paper Award at ICCV 2025 Workshop on Multi-Modal Reasoning for Agentic Intelligence
EVA: 针对环境注入攻击的红队GUI智能体的演化语义对抗方法
机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Independent Researcher（独立研究者）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出EVA框架，通过演化语义对抗载荷攻击多模态大语言模型驱动的GUI智能体，揭示语义欺骗是攻击成功的关键，实现85%攻击成功率且快速收敛。
Comments Accepted by
MoDA: 面向指令型多模态大语言模型的细粒度视觉定位的调制适配器
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出MoDA调制适配器，通过指令引导的通道级乘法调制增强细粒度视觉定位，在12个基准上对三种MLLM架构取得一致提升，计算开销极小。
Comments Accepted at ICML 2026. Code is available at https://github.com/waybarrios/MoDA
模态间隙驱动的子空间对齐训练范式用于多模态大语言模型
机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。
MACS: 模态感知容量缩放用于高效多模态MoE推理
机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。
Comments Accepted by ACL 2026
TokaMind: 用于托卡马克等离子体动力学的多模态Transformer基础模型
机构 * IBM Research（IBM研究院） ； UK Atomic Energy Authority（英国原子能局） ； STFC Hartree Centre（科学与技术设施研究中心哈特ree中心）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI
AI总结 提出TokaMind，首个开源托卡马克等离子体动力学基础模型，基于多模态Transformer在MAST数据集上预训练，支持多种数据模态和缺失信号处理，在14个任务上优于基线。
SlideAgent：用于多页视觉文档理解的分层代理框架
机构 * Georgia Institute of Technology（佐治亚理工学院） ； J.P. Morgan AI Research（摩根大通AI研究）
专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL
AI总结 提出SlideAgent，一种用于多模态多页文档（如幻灯片）理解的分层代理框架，通过全局、页面和元素三级推理构建结构化表示，在专有和开源模型上分别提升7.9%和9.8%的准确率。
Comments ACL 2026 Main Conference. https://slideagent.github.io/
潜在空间攻击用于语言模型的拒绝规避
机构 * University of Cagliari（卡利亚里大学） ； University of Genova（热那亚大学）
专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文研究了如何通过潜在空间攻击来规避语言模型的拒绝行为，提出了一种受控的潜在空间攻击方法，以提高攻击成功率，优于现有方法。
变分推断在对称性存在下的更多保证
机构 * School of Informatics（信息学院） ； University of Edinburgh（爱丁堡大学）
专题命中 其他多模态 ：multi-modal(abstract)
AI总结 本文扩展了变分推断在目标对称性下的鲁棒性理论，证明了使用前向KL散度和α-散度时，即使模型误设也能精确恢复目标均值和相关矩阵，并放宽了对数凹假设，适用于多模态分布。
Comments Accepted for presentation at the OPTIMAL Workshop at AISTATS 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈