AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
使用多模态语言模型检测社交媒体上的AI生成内容
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Meta
专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL
AI总结 针对AI生成内容检测的泛化性差、单模态依赖和缺乏可解释性问题，提出基于多模态数据的紧凑视觉-语言模型，实现检测与解释，在公开基准和内部数据集上达到最优性能。
重新路由，而非移除：面向视觉语言模型的可恢复视觉令牌路由
机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； National Taiwan University（国立台湾大学）
专题命中 图文多模态 ：MLLM(abstract,comments)；分类 cs.CV、cs.AI
AI总结 针对视觉语言模型中视觉令牌重要性随解码器深度变化的问题，提出无需训练的可恢复路由方法Reroute，将不可逆移除改为可恢复路由，在激进令牌缩减下提升定位能力并保持通用VQA性能。
Comments Code: https://github.com/elmma/mllm-reroute/
面向自动驾驶危险检测的视觉-语言模型任务对齐稳定性分析
机构 * Everett Richards（埃弗里特·里奇ards）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.AI
AI总结 研究视觉-语言模型在自动驾驶危险检测中，嵌入漂移与任务对齐危险分数变化的关系，发现不同腐败类型导致不同的失效模式，建议基准测试包含任务对齐稳定性指标。
Comments 8 pages (5 main body + 3 references / appendices). ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)
将视觉-语言模型从标志性适应到包容性：用于无标签的多标签识别
机构 * State Key Laboratory of Virtual Reality Technology and Systems, SCSE & QRI, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机学院与青岛研究院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出无监督框架，通过“切割”和“缝合”两阶段适应VLMs，实现无标签的多标签图像识别，在四个数据集上超越现有无监督方法。
面向音视频广义零样本学习的层次化标准化嵌入对齐
机构 * Southeast University（东南大学） ； The University of Hong Kong（香港大学） ； Beijing Institute of Technology（北京理工大学） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其跨学科应用重点实验室（东南大学），教育部） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV
AI总结 提出AHSE方法，通过Z-score标准化和层次化对齐策略（语义、类别、批次三级）解决音视频与文本模态间的分布与结构差异，在三个基准数据集上取得竞争性能。
口语对话中的上下文感知多模态声明验证
机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Sheffield（谢菲尔德大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。
我理解你的感受：通过对话系统中的多语言情感验证增强深层情感支持
机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL
AI总结 提出情感验证在对话系统中的应用，构建多语言语料库M-EDESConv和测试集M-TESC，设计多语言情感感知门控单元MEGUMI进行时机检测，并评估当前LLM在情感验证响应生成中的表现。
Comments This paper has been accepted for presentation at SIGdial Meeting on Discourse and Dialogue 2026 (SIGDIAL 2026)
碳纤维铺层的人机协同操作
机构 * Automation Technology and Mechanical Engineering, Tampere University（坦佩雷大学自动化技术与机械工程系）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 针对柔性材料自动化处理困难的问题，本文提出结合语音指令、视觉腕部跟踪和力/柔顺控制的多模态方法，实现碳纤维铺层的高效人机协同操作。
Comments Accepted to the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)
推理，再推理：跨视角重访提升空间推理
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频多模态 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出ReRe框架，通过生成互补新视角视频让MLLM先推理再验证，无需训练即可显著提升空间推理性能。
Comments ICML 2026
ProcessThinker: 通过基于展开的过程奖励增强多模态大语言模型推理
机构 * LMU Munich（慕尼黑大学） ； Harvard University（哈佛大学） ； University of Cambridge（剑桥大学） ； Mina AI ； Konrad Zuse School of Excellence in Reliable AI (relAI)（康拉德·楚泽可靠人工智能卓越学校（relAI））
专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出ProcessThinker，一种无需显式过程奖励模型的后训练方法，通过步骤标记格式和基于展开的过程奖励，为多步推理提供密集的步骤级奖励，提升多模态推理一致性。
Comments Accepted at ICLR 2026 Workshop on Logical Reasoning of Large Language Models. 7 pages, 1 figure
InternVideo3: 用多模态上下文推理代理化基础模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出InternVideo3框架，通过多模态上下文推理（MCR）和高效KV缓存压缩方法M^2LA，增强长视频理解与迭代交互能力，在多个基准上取得强性能。
解码多模态线索：揭示仇恨视频背后的隐含意义
机构 * Dalian University of Technology（大连理工大学） ； Tencent（腾讯） ； City University of Hong Kong（香港城市大学） ； Singapore University of Technology and Design（新加坡科技设计大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出IARE框架，通过信息增强和推理优化实现可解释的仇恨视频检测，在Ex-HateMM和Ex-ImpliHateVid数据集上达到最优性能。
DAM-VLA: 解耦异步多模态视觉语言动作模型
机构 * Intuitive Robots Lab, Karlsruhe Institute of Technology (KIT)（直觉机器人实验室，卡尔斯鲁厄理工学院） ； NVIDIA（英伟达） ； Robotics Institute of Germany（德国机器人研究所）
专题命中 视频多模态 ：multimodal(title)；分类 cs.CV
AI总结 针对VLA模型同步时钟与物理交互中不同模态频率不匹配的问题，提出DAM-VLA，通过解耦各模态时间处理、维护传感器速率更新的潜在缓冲区，并利用门控交叉注意力整合高频模态，在7个真实操作任务中平均成功率提升至95.2%。
Comments 17 pages, 8 figures
Q-Fold: 查询感知的焦点-上下文时空折叠用于长视频理解
机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Q-Fold，一种无需训练的长视频输入构建框架，通过查询引导将相关片段保留为高保真焦点帧，不相关片段折叠为上下文布局，在固定预算下提升多模态大模型的长视频理解性能。
Comments 10 pages, 5 figures, 8 tables. Code will be made publicly available
SVoT: 基于强化学习的空间推理状态感知思维可视化
机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出SVoT框架，通过强化学习生成可验证的中间状态和可视化，结合文本与视觉推理链，提升多模态大模型在多跳空间推理中的可靠性。
World Pilot: 用世界动作先验引导视觉-语言-动作模型
机构 * Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； Nanjing University（南京大学） ； Beihang University（北京航空航天大学）
专题命中 视频多模态 ：image-text(abstract)
AI总结 提出World Pilot框架，通过世界动作模型（WAM）的潜在引导和动作引导两条路径，为VLA模型提供场景演化先验和轨迹级运动提示，在LIBERO-Plus零样本OOD基准上达到84.7%的总成功率，并在多个真实机器人操作任务中取得最高成功率。
Comments Project Website: https://world-pilot.github.io/
任务感知结构化记忆用于动态多模态上下文学习
机构 * Zhihui Chen（陈志辉） ； Ziwei Chen（陈子伟） ； Ling Shao（邵令）
专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出TASM框架，通过任务向量引导压缩、语义感知令牌合并和层次化记忆结构，解决多模态大语言模型上下文学习中记忆压缩导致的语义破坏和静态问题。
Comments Accepted to ICML 2026
弥合法医图像检索中的模态差距
机构 * Advanced Technologies Application Center (CENATAV)（先进技术应用中心（CENATAV）） ； Centro de Sistemas Complejos, Facultad de Física, Universidad de La Habana（哈瓦那大学物理学院复杂系统中心）
专题命中 跨模态检索 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出统一检索框架，利用多模态大语言模型生成文本描述并结合视觉与文本特征融合，提升纹身、人脸素描等法医任务的检索精度与鲁棒性。
Comments 23 pages, 5 figures, paper submitted to Elsevier journal
GLACIER：用于分子性质预测的多模态师生基础模型
机构 * Department of Computer Science, University of Southern California（南加州大学计算机科学系） ； Department of Quantitative and Computational Biology, University of Southern California（南加州大学定量与计算生物学系） ； Amazon（亚马逊） ； Department of Medical Biochemistry and Biophysics, Science for Life Laboratory, Karolinska Institutet（卡罗林斯卡学院医学生物化学与生物物理系，生命科学实验室）
专题命中 跨模态检索 ：multimodal(title)
AI总结 提出GLACIER师生框架，通过融合分子图、SMILES和物理化学描述符三种模态，并利用大模型蒸馏，实现高效准确的分子性质预测。
MAGMaR 2026 共享任务结果
机构 * Johns Hopkins University（约翰霍普金斯大学） ； OpenAI ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Air Force Research Laboratory（空军研究实验室） ； Human Language Technology Center of Excellence, Johns Hopkins University（约翰霍普金斯大学人类语言技术卓越中心） ； University of Amsterdam（阿姆斯特丹大学） ； Huazhong University of Science and Technology（华中科技大学）
专题命中 跨模态检索 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL
AI总结 本文介绍MAGMaR 2026共享任务的结果，包括视频检索和基于检索视频的生成任务，所有提交系统均超越去年基线。
Comments Findings of the 2nd workshop on Multimodal Augmented Generation via Multimodal Retrieval (MAGMaR); Resources at this url: https://github.com/rekriz11/MAGMAR_2026
通过对比交互从零开始学习物体操作
机构 * UC San Diego（加州大学圣地亚哥分校） ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 跨模态检索 ：multi-modal(abstract)
AI总结 针对对比强化学习在交互密集操作任务中表现不佳的问题，提出交互加权重采样方法，通过保留模式边界提升多模态分段非线性可达性表示，在仿真和真实机器人空气曲棍球任务中取得显著改进。
ARGUS: 堆叠多视角身份马赛克注入用于主体保持的视频生成
机构 * Peking University（北京大学） ； Kuaishou Technology（快手科技） ； Xiamen University（厦门大学）
专题命中 多模态生成 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI
AI总结 提出ARGUS框架，通过堆叠多视角身份马赛克注入（SMII）将身份表示为紧凑动态分布，结合MLLM身份导演、无交叉对反事实训练等模块，在主体保持视频生成中达到SOTA。
Comments 13 pages, 3 figures
物理信息驱动的生成式AI在半导体制造中的应用：通过构造强制生成模型中的硬物理约束
机构 * School of Electrical and Computer Engineering, University of Oklahoma（俄克拉荷马大学电气与计算机工程学院） ； Center for Quantum Research and Technology, University of Oklahoma（俄克拉荷马大学量子研究与技术中心） ； Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Laboratory（创新研究与工程智能神经形态与量子理解实验室） ； Material Science and Engineering Program, University of Oklahoma, Norman, OK 73019 USA（俄克拉荷马大学材料科学与工程项目，Norman, OK 73019 USA）
专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI
AI总结 针对半导体制造中生成模型必须满足硬物理约束的问题，本文提出通过构造集成物理信息（如物理信息扩散、PDE约束变分模型等）来强制约束，而非事后过滤，并给出四种集成模式和未来研究方向。
T2MM：一种支持基于探究建模的LLM架构
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI、cs.MM
AI总结 提出T2MM架构，利用LLM在生态建模软件VERA中生成交互式模型，优于全代码生成基线。
Comments 16 pages, 4 figures
开放域定制视频生成的综合生态系统
机构 * University of Science and Technology of China（科学技术大学） ； Microsoft Research Asia（微软亚洲研究院） ； Seoul National University（首尔国立大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出百万级数据集PexelsCustom-1M和参数高效框架CustoMDiT，仅用8%额外参数实现定制视频生成，并构建千类基准OpenCustom，开源整个生态系统。
Comments 5 pages, 3 figures, 4 tables. Accepted by ICASSP 2026
自然环境中机器人感知的跨模态基准测试
机构 * CSIRO Robotics, CSIRO, Australia（CSIRO机器人研究所，CSIRO，澳大利亚） ； University of Sydney (USyd), Australia（悉尼大学（USyd），澳大利亚） ； Queensland University of Technology (QUT), Australia（昆士兰理工大学（QUT），澳大利亚）
专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 针对自然环境中机器人感知的挑战，提出WildCross跨模态基准，用于大规模自然场景下的地点识别和度量深度估计，并扩展了度量深度估计实验。
Comments Accepted to the IEEE ICRA Workshop on Open Challenges for Rigorous Robot Perception 2026
MSUE：多模态足球理解专家
机构 * South China University of Technology（华南理工大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Peking University（北京大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 多模态评测 ：multi-modal(title)；分类 cs.CV、cs.AI
AI总结 提出MSUE多专家问答架构，结合VLM数据合成管道与LLM动态调度文本、图像、视频专家，在SoccerNet VQA挑战中达到0.95准确率，获第三名。
Comments 6 pages, 1 figures
OpenMedReason: 医学视觉语言模型的科学推理监督
机构 * York University（约克大学） ； Vector Institute（向量研究所） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Toronto（多伦多大学） ； Unity Health Toronto / St. Michael’s Hospital（多伦多联合健康/圣迈克尔医院） ； University Health Network（大学健康网络） ； Arc Institute（弧研究所） ； Queen's University（女王大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出OpenMedReason，一个包含约45万图像-问题-答案实例的大规模开放医学推理语料库，其推理轨迹主要来自生物医学科学文章，并配套基准OpenMedReason-Bench进行细粒度评估，在监督微调和强化对齐中有效提升模型性能。
Comments 42 pages, 9 figures, 24 tables. Dataset and code: https://huggingface.co/datasets/neginb/OpenMedReason
MedCTA: 临床工具智能体基准
机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Massachusetts Institute of Technology (MIT)（麻省理工学院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出MedCTA基准，基于放射影像、病理切片和报告等真实临床多模态输入，评估医疗AI智能体在工具检索、证据获取和集成方面的规划与执行能力。
Comments Project Page: https://ivul-kaust.github.io/MedCTA/ Code: https://github.com/IVUL-KAUST/MedCTA Data: https://huggingface.co/datasets/IVUL-KAUST/MedCTA
具身基准构建的智能自动化：流程、具身、模拟器与趋势
机构 * University of Electronic Science and Technology of China（电子科技大学） ； Qiyuan Lab（启元实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Beihang University（北京航空航天大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文综述具身智能基准构建的五阶段流程，分析从人工到自动化再到智能体闭环的转变，指出自动化将成本转向验证与治理。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈