AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
NavOne: 一种基于顶部向下地图的视觉语言导航的一步全局规划
机构 * South China University of Technology（南方科技大学）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种基于顶部向下地图的视觉语言导航方法，通过引入NavOne框架，实现多模态地图的单步全局路径规划，显著提升了导航效率和性能。
Comments 10 pages, 7 figures
TraversalBench: 为视觉语言模型设计的复杂路径挑战测试集
机构 * Massachusetts Institute of Technology, Department of Physics（麻省理工学院物理系） ； Massachusetts Institute of Technology, Institute for Data, Systems, and Society（麻省理工学院数据、系统与社会研究所） ； NSF AI Institute for Artificial Intelligence and Fundamental Interactions（国家科学基金会人工智能与基本相互作用AI研究所）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出TraversalBench，一个用于评估视觉语言模型复杂视觉路径跟随能力的受控基准测试集，发现自相交是主要困难来源，揭示了模型在路径感知上的局限性。
基于LLM增强优化的无人机低空经济网络高效机载视觉-语言推理
机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院、新加坡国立科技大学） ； The University of Sydney, Sydney, Australia（悉尼大学、澳大利亚悉尼） ； Department of Electrical and Computer Engineering, Western University, London, Canada（电气与计算机工程系、西方大学、加拿大伦敦） ； Department of Electrical and Computer Engineering, Sungkyunkwan University, South Korea（电气与计算机工程系、全州大学、韩国）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 针对无人机低空经济网络中机载视觉-语言模型推理的准确性与通信效率挑战，提出分层优化框架，包括交替分辨率与功率优化算法及大语言模型增强的强化学习轨迹优化方法，有效提升推理性能与通信效率。
SMART: 基于音频增强多模态大模型的镜头感知视频时刻检索
机构 * Department of Computer Science, University at Albany - SUNY（University at Albany - SUNY 计算机科学系） ； School of Software & Microelectronics, Peking University（北京大学软件与微电子学院） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） ； Department of Mathematics and Statistics, University at Albany - SUNY（University at Albany - SUNY 数学与统计学系）
专题命中 音频语音多模态 ：multimodal(title,abstract)；MLLM(title,abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI
AI总结 提出SMART框架，融合音频与视觉特征，利用镜头感知令牌压缩技术，在多模态大模型基础上实现视频时刻检索，在Charades-STA和QVHighlights上取得显著提升。
Dr. SHAP-AV：通过Shapley归因解码音频-视觉语音识别中的相对模态贡献
机构 * Imperial College London, UK（伦敦帝国学院，英国） ； NatWest AI Research, UK（英国NatWest人工智能研究）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS
AI总结 本文提出Dr.SHAP-AV框架，通过Shapley值分析音频-视觉语音识别中模态贡献，揭示噪声环境下模型对视觉的依赖及音频贡献的稳定性，推动模态加权机制和Shapley归因作为标准诊断工具。
Comments Accepted to INTERSPEECH 2026 [Long Paper track]. Project website: https://umbertocappellazzo.github.io/Dr-SHAP-AV
信号不是状态：面向文化意识课堂AI的神经符号安全机制
机构 * Independent Researcher（独立研究者）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出NSCR框架，通过神经符号方法处理课堂多模态信号，区分可观测证据与文化负载解读，减少文化偏见对课堂AI的负面影响。
Comments Accepted at the Workshop on Stereotypes Across Cultures in Language Technologies @ ACL 2026
通过设计理解视频：数据集如何塑造视频模型
机构 * School of Engineering and Built Environment, Electrical and Electronic Engineering, Griffith University（工程与建筑环境学院，电气与电子工程学院，格里菲斯大学） ； School of Computer Science and Engineering, University of New South Wales（计算机科学与工程学院，新南威尔士大学）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.AI
AI总结 本文从数据集视角出发，提出统一框架连接数据集结构、归纳偏差与架构设计，分析数据集特性如何驱动视频理解架构创新，并讨论不同数据体制下的表征偏差。
Comments Research report
迈向可扩展的协同实践学习：协助计算机视觉和多模态分析
机构 * Centre for Learning Analytics at Monash（墨尔本大学学习分析中心） ； Monash University（墨尔本大学） ； Department of Civil and Environmental Engineering（土木与环境工程系） ； School of Education（教育学院） ； The University of Hong Kong（香港大学）
专题命中 视频多模态 ：multimodal(title)；分类 cs.CV
AI总结 本研究评估了固定摄像头管道在重复护理模拟中的效果，通过多阶段源到目标适应提升行为检测精度，并利用行为轨迹分析提升模拟 debriefing 的可检索性。
OpenGlass：用于设备上基于事件的手势识别的开源智能眼镜
机构 * Department of Information Technology and Electrical Engineering, ETH Zürich（信息科技与电气工程系，瑞士联邦理工学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出开源智能眼镜平台OpenGlass，采用模块化设计、事件驱动电源管理和GAP9 RISC-V SoC，实现低功耗设备上ML，在LynX数据集上达到83.94%的跨主体手势识别准确率。
ChatHealthAI: 将电子健康记录表示与大语言模型对齐以实现基于临床的推理
机构 * School of Computer Science, McGill University（麦吉尔大学计算机科学系） ； Mila - Quebec AI Institute（魁北克人工智能研究所）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出ChatHealthAI框架，通过任务感知重采样器将预训练的EHR基础模型的结构化表示与冻结的大语言模型语义空间对齐，实现可解释的临床推理并保持预测性能。
Comments Main paper with appendix, 13 pages
QuickLAP: 为半自主代理快速语言-动作偏好学习
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本研究提出QuickLAP，一种融合物理和语言反馈的贝叶斯框架，用于实时推断奖励函数，通过大规模语言模型提取奖励特征注意力掩码和偏好偏移，从而在半自主驾驶模拟器中将奖励学习误差降低70%，并通过用户研究验证其可理解性和协作性。
PUMA: 基于层剪枝的语言模型，用于具有模态自适应学习的高效统一多模态检索
机构 * Harbin Institute of Technology（哈尔滨工业大学）
专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.MM
AI总结 提出PUMA，通过层剪枝自蒸馏减少MLLM参数，并设计模态自适应对比学习损失（MAC-Loss）提升检索效率，在降低资源消耗的同时保持性能。
CR-JEPA：用于遥感图像检索的跨模态联合嵌入预测学习
机构 * Space Applications Centre, Indian Space Research Organisation（印度空间研究组织空间应用中心） ； Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay（印度理工学院孟买资源工程研究中心）
专题命中 跨模态检索 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 提出CR-JEPA架构，通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持，在BEN-14K等数据集上显著提升跨模态检索性能。
Comments 24 pages
FLOWREADER: 多模态长文档问答的最小成本流优化
机构 * Ca’ Foscari University of Venice（威尼斯卡布里亚大学）
专题命中 跨模态检索 ：multi-modal(title)；multimodal(abstract)
AI总结 提出FLOWREADER，将多模态长文档中的证据组装建模为最小成本流问题，通过统一评分向量控制源选择、汇选择和边成本，在碎片化证据场景下优于top-k检索方法。
混合饮食使DINO成为杂食视觉编码器
机构 * Google DeepMind（谷歌DeepMind） ； University College London（伦敦大学学院）
专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 针对DINOv2等预训练视觉编码器在不同视觉模态间特征对齐差的问题，提出杂食视觉编码器，通过后训练框架学习模态无关特征空间，实现跨模态鲁棒理解。
Comments CVPR 2026 Highlight
TQA-Bench：评估大语言模型在多表问答中的表现
机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学）
专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI
AI总结 提出TQA-Bench基准，通过长上下文多表问答任务评估LLM，揭示其在复杂数据驱动环境中的挑战与机遇。
Comments Accepted by IEEE Transactions on Big Data
保障检索增强生成：攻击、防御与未来方向的分类法
机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出SLOT分类法，从攻击面、防御层、目标（遵循CIA属性）和攻击目标四个维度系统化梳理检索增强生成（RAG）的安全风险与防御，并指出知识访问管道中的结构性错配，最后展望未来方向。
Comments We have curated a paper list on RAG security in https://github.com/TreeAI-Lab/Awesome-RAG-Security, and we warmly welcome authors who wish to have their new work included to contact us via email
条件归一化流用于前向和后向联合状态与参数估计
机构 * Department of Computer Science and Engineering University of Notre Dame（计算机科学与工程系诺特达姆大学） ； Department of Pediatrics Stanford University（儿科系斯坦福大学） ； Department of Applied and Computational Mathematics and Statistics University of Notre Dame（应用与计算数学与统计系诺特达姆大学）
专题命中 跨模态检索 ：multi-modal(abstract)
AI总结 针对非线性非高斯系统，提出基于条件归一化流的状态滤波方法，结合MLP、Transformer或Mamba-SSM生成条件嵌入，并引入最优传输动力学损失缓解过参数化，在自动驾驶和COVID-19联合估计中验证有效性。
多模态生成式引擎优化：针对视觉-语言模型排序器的排名操纵
机构 * Georgetown University（乔治城大学） ； University of Southern California（南加州大学） ； University of Maryland, College Park（马里兰大学学院公园分校） ； Arizona State University（亚利桑那州立大学）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI
AI总结 提出多模态生成式引擎优化（MGEO）方法，通过联合优化图像扰动和文本后缀，利用视觉-语言模型内部跨模态知识耦合，实现对产品排名的有效操纵，揭示了多模态基础模型知识基础的脆弱性。
Comments Proceedings of the 4th Workshop on Towards Knowledgeable Foundation Models (KnowFM) at ACL 2026
IGenBench：文本到信息图生成可靠性基准测试
机构 * State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD与CG国家重点实验室） ； UESTC ； University of Virginia（弗吉尼亚大学） ； HKUST(GZ)（香港科技大学（广州）） ； Cornell University（康奈尔大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学）
专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 提出IGENBENCH基准，包含30种信息图类型和600个测试用例，通过多模态大语言模型分解为10类原子问题评估10种T2I模型，发现数据完整性等维度是普遍瓶颈。
从去噪到决策：面向无线网络的扩散模型赋能深度强化学习综述
专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)
AI总结 本文综述了扩散模型与深度强化学习结合的方法，通过捕捉无线资源管理中的复杂多模态动作结构，提升决策质量，并系统总结了其在移动边缘计算、无人机辅助、车联网、AIGC驱动系统、无线资源分配、物理层安全及机器人/无人机规划等领域的应用。
Comments 22 pages, 7 figures, Author list corrected
CURE：基于课程引导的多任务训练实现可靠的解剖学接地报告生成
机构 * Pontificia Universidad Católica de Chile（智利天主教大学） ； CENIA ； iHEALTH ； KAUST（科威特皇家科学与技术局）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出CURE框架，通过课程学习动态调整多任务训练，提升医学报告生成的视觉接地准确性和事实一致性，无需额外数据。
Comments 31 pages, 7 figures, accepted to CVPR 2026 (oral)
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 36279-36289
通过文本和语义定义的分割提示灵活控制3D CT生成
机构 * Boston University School of Engineering（波士顿大学工程学院） ； Stanford University（斯坦福大学） ； University of Pittsburgh Medical Center（匹兹堡大学医学中心） ； Boston University School of Medicine（波士顿大学医学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一种灵活的多模态框架，通过文本和可选分割提示控制3D CT生成，实现高分辨率、解剖一致且可控的体数据生成。
CADFit：基于混合优化的精确网格到CAD程序生成
机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（麻省理工学院机械工程系）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出CADFit框架，通过基于几何反馈的增量拟合和验证参数化操作，从网格中恢复复杂可编辑的CAD构造序列，在多个基准上优于现有方法，并显著降低无效比率。
MotionGPT-2：用于运动生成与理解的通用运动-语言模型
机构 * Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Intime Department Store（Intime百货） ； Deepeleph ； HKUST（香港科技大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出MotionGPT-2，一种统一的大规模运动-语言模型，通过预训练大语言模型支持多模态控制条件，实现运动生成、描述和补全等多种任务，并引入Part-Aware VQVAE实现细粒度身体和手部运动表示。
学习真实内容：在多传感器数据中分离信号和测量伪影，应用于天体物理学
机构 * Massachusetts Institute of Technology（麻省理工学院） ； Flatiron Institute, Simons Foundation（Flatiron研究所，Simons基金会） ； Institute for Advanced Studies（高级研究 institute） ； Harvard University（哈佛大学） ； New York University（纽约大学） ； Instituto de Astrofísica de Canarias（加那利大天文台）
专题命中 多模态生成 ：multi-modal(abstract)
AI总结 本文提出一种深度学习框架，通过重叠观测、双编码器架构和反事实生成目标，分离多传感器数据中的信号与伪影，提升天体物理学研究的准确性。
Comments Accepted at the 2nd Workshop on Foundation Models for Science at ICLR 2026. 10 pages, 7 figures (main text), plus appendix
生成式人工智能在自动驾驶系统测试场景生成方法中的应用综述
专题命中 多模态生成 ：multimodal(abstract)
AI总结 综述生成式AI在自动驾驶测试场景生成中的应用，分析31篇主要研究，提出包含多模态扩展、伦理检查表和ODD覆盖图的分类法，以解决标准化评估缺失等问题。
Comments 40 pages,7 figures
AgroOmni：一个大规模多视角农业数据集用于跨尺度多模态推理
机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； HuanTian Wisdom Technology Co., Ltd.（慧天智慧科技有限公司） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AgroOmni数据集，通过288K视觉问答对覆盖56个专业任务类别，解决多视角跨尺度农业多模态推理中的尺度偏差问题，提出AgroNVILA模型在AgroMind基准上达到62.32%的SOTA成绩。
Hummus：幽默多模态隐喻使用数据集
机构 * ILLC, University of Amsterdam, the Netherlands（阿姆斯特丹大学语言学研究所，荷兰） ； Vrije Universiteit Amsterdam, the Netherlands（阿姆斯特丹自由大学，荷兰）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 提出幽默多模态隐喻数据集Hummus，基于不一致理论和概念隐喻理论设计标注方案，测试多模态大语言模型在检测和理解幽默多模态隐喻上的表现，发现现有模型仍存在困难。
FieldWorkArena：面向真实作业任务的代理AI基准测试
机构 * Fujitsu Limited（富士通株式会社） ； Fujitsu Research of America（富士通美国研究部） ； Carnegie Mellon University（卡内基梅隆大学） ； Master’s Student, The University of Tokyo（东京大学硕士研究生） ； Agent Research Collective（代理研究集体）
专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FieldWorkArena，用于评估代理AI在真实制造业和零售环境中的性能，通过现场采集的数据和实地访谈设计任务，验证多模态大语言模型的评估可行性。
Comments 27 pages, 10 figures, 7 tables [ICPR 2026 Accepted] Changes from previous version: added supplemental material
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈