AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
超越文本主导：理解多模态大语言模型的模态偏好
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory（中文信息处理实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
专题命中 多模态评测 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 本文研究多模态大语言模型的模态偏好现象，通过新基准和模态选择率指标量化发现，大多数模型表现出显著的视觉偏好，并通过层间探测揭示偏好在中后期层逐步出现，进而用于诊断跨模态幻觉，提升模型可信度。
SciMDR：推动科学多模态文档推理
机构 * Yale University（耶鲁大学）
专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文提出SciMDR数据集，通过合成与重嵌框架生成大规模多模态文档推理数据，提升科学问答任务的复杂度和真实性。
Comments ACL 2026
VLM评判者能排序但无法评分：多模态评估中的任务依赖性不确定性
机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； AI Labs at Capital One（Capital One人工智能实验室）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL
AI总结 本文通过置信预测框架分析VLM作为评判者的可靠性，发现任务依赖性显著影响评估不确定性，提出排名-评分解耦问题，揭示任务难度和标注质量对区间宽度的影响。
多模态关系知识图像上的结构化与抽象推理
机构 * Zhejiang University（浙江大学） ； Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph（浙江大学-蚂蚁集团知识图谱联合实验室）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL
AI总结 本文提出STAR-64K数据集及两阶段增强框架，通过合成多模态指令数据提升模型在抽象推理任务中的性能，实验表明小型模型在STAR任务中超越GPT-4o。
Comments Accepted by Findings of ACL 2026
OpenLifelogQA：一个开放式多模态生活日志问答数据集
专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.MM
AI总结 OpenLifelogQA数据集包含14187对问答对，用于支持真实场景下的鲁棒评估，相比现有资源更适用于实际应用，通过评估LLaVA-NeXT-Interleave 7B模型展示了其在生活日志问答中的性能。
Comments In the proceedings of the 14th International Symposium on Information and Communication Technology
复杂多模态文档处理流水线评估：面向企业AI的统一评估框架
机构 * Oracle（Oracle公司） ； Independent（独立）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CL、cs.AI
AI总结 本文提出EnterpriseDocBench评估框架，评估企业文档AI流水线的各阶段性能，发现混合检索优于BM25，但生成质量不足，揭示了各阶段间弱相关性及实际部署中准确性与完整性之间的差距。
Comments 16 pages, 4 tables. Code, metrics, and pilot data to be released upon publication
ELIQ：一种无需标签的进化AI生成图像质量评估框架
机构 * Shanghai Jiao Tong University（上海交通大学） ； Xi'an Jiaotong University（西安交通大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 ELIQ通过自动构建正负样本对，利用预训练多模态模型提升质量评估，实现无需人工标注的高质量评估，优于现有无标签方法。
对计算机使用代理的安全性和安全威胁的综述：贾维斯或乌tron？
机构 * Carnegie Mellon University（卡内基梅隆大学） ； The Chinese University of Hong Kong（香港中文大学） ； KAUST（卡塔尔科技大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； The Hong Kong University of Science and Technology（香港科学大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文综述了计算机使用代理的安全威胁，定义了安全分析适用的代理类型，分类了当前的安全威胁，提出了防御策略的分类，并总结了评估代理安全性和性能的基准、数据集和评估指标。
Comments Accepted by ACL 2026
对过程奖励模型的调查：从结果信号到大语言模型的过程监督
机构 * Shanghai Jiao Tong University（上海交通大学） ； University College London（伦敦大学学院） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Bristol（布里斯托大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 本文综述了过程奖励模型，探讨了如何生成过程数据、构建PRMs及在测试时扩展和强化学习中的应用，涵盖数学、代码、文本、多模态推理、机器人和智能体等领域。
基于图的语义校准网络用于不一致的无人机RGBT图像语义分割及一个大规模基准
机构 * Key Laboratory of Intelligent Computing & Signal Processing (Anhui University), Ministry of Education（智能计算与信号处理重点实验室（安徽大学），教育部） ； Anhui Provincial Key Laboratory of Multimodal Cognitive Computation, School of Artificial Intelligence, Anhui University（安徽省多模态认知计算重点实验室，人工智能学院，安徽大学） ； School of Computer Science and Technology, Anhui University（计算机科学与技术学院，安徽大学） ； GEOVIS Earth Technology Co., Ltd.（GEOVIS地球科技有限公司）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出GSCNet网络，通过特征解耦对齐模块和语义图校准模块解决无人机RGBT图像语义分割中的跨模态空间不一致和细粒度地面物体语义混淆问题，并构建了大规模URTF基准。
Comments 13 pages,13 figures
超越外观：诊断并改进基于指针的测量读数中的状态一致性
机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（未来区块链与隐私计算北京先进创新中心） ； Beihang University（北航） ； Fudan University（复旦大学） ； Peking University（北京大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文研究了多模态大语言模型在指针式测量读数任务中的表现问题，发现现有模型在状态一致性上存在缺陷，提出TriSCA框架以提升状态一致性。
一种多模态深度感知方法用于具身参照理解
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； KIT Campus Transfer GmbH (KCT)（KIT校园转移有限公司） ； Istanbul Technical University（伊斯坦布尔技术大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 多模态Agent ：multimodal(title)；分类 cs.CV
AI总结 本文提出一种多模态深度感知方法，结合语言模型数据增强、深度图模态和深度感知决策模块，提升复杂环境中的参照物识别准确性。
Comments Accepted by ICASSP 2026
基于虚拟现实的患者特异性脊柱手术模拟：一种快速、高度自动化和高保真的系统，用于手术教育和规划
机构 * Holland Bone and Joint Program, Sunnybrook Research Institute（霍尔德骨科与关节程序，圣布鲁诺研究学院） ； Division of Spine Surgery, Sunnybrook Health Sciences Centre（脊柱外科部，圣布鲁诺健康科学中心） ； Division of Orthopaedic Surgery, Department of Surgery, University of Toronto（骨科部，外科部，多伦多大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出利用AI和计算机视觉生成患者特异性脊柱减压模拟，通过多模态融合和分割技术提高建模精度，提升手术教育和规划效率。
ATLAS：一种用于长时程机器人动作分割的标注工具
机构 * Autonomous Systems Lab, Technische Universität Wien (TU Wien)（自主系统实验室，维也纳技术大学） ； Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（机器人与机电研究所，德国航空航天中心）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI
AI总结 本文提出ATLAS，一种专为长时程机器人动作分割设计的标注工具，支持多模态数据同步可视化和多种数据集格式，提升了标注效率和时间对齐精度。
Comments 7 pages, 2 figures, 2 tables
EvolvingAgent: 基于持续世界模型的课程自进化代理用于长周期任务
机构 * Department of Computer Science and Technology, Beijing National Research Center for Information Science and Technology, Tsinghua University（计算机科学与技术系，北京信息科学与技术国家研究中心，清华大学） ； Department of Computer Science, University of Sydney（计算机科学系，悉尼大学） ； Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 本文提出EvolvingAgent，通过持续世界模型实现自主完成长周期任务，采用任务规划、动作控制和反思模块，提升Minecraft和Atari环境中的性能。
ViTaPEs: 视觉触觉位置编码用于多模态转换器中的跨模态对齐
机构 * Chair of Cyber-Physical Systems（感知系统教授席位） ； Institute of Machine Learning and Neural Computation（机器学习与神经计算研究所） ； Technical University of Leoben（莱比锡技术大学） ； Graz University of Technology（格拉茨技术大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(title)；分类 cs.CV
AI总结 ViTaPEs通过两阶段位置注入学习任务无关的视觉触觉表示，提升多模态对齐性能，实验证明其在多种任务和领域中的优越表现。
ReGATE：通过减少令牌数在MLLMs中实现更快更好的学习
机构 * Arizona State University（亚利桑那州立大学）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 ReGATE通过参考引导的自适应令牌消除方法加速MLLM训练，减少计算量同时保持模型准确性，在多个基准测试中表现出色。
Comments ACL 2026. Project page: https://people-robots.github.io/regate
星融合：一种多模态变换器架构，通过球面拓扑实现离散天体定向
机构 * Department of Aerospace Informatics, Julius-Maximilians-Universität Würzburg（航空航天信息学系，乌尔姆-马克斯-普朗克大学）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出Star-Fusion架构，通过球面拓扑分类解决天体定向问题，采用球面K-means聚类和多模态融合策略，实现高精度和高效定位。
RADIO-ViPE：面向动态环境的在线紧密耦合多模态融合用于开放词汇语义SLAM
机构 * Biomechatronics and Energy-Efficient Robotics (BE2R) Lab, ITMO University（生物机电学与高效能机器人实验室，ITMO大学）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 RADIO-ViPE通过在线多模态融合实现动态环境中开放词汇语义SLAM，无需校准RGB-D输入，结合视觉与语言嵌入提升地图一致性。
VulStyle：一种多模态预训练用于代码风格度量增强的漏洞检测
机构 * University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
专题命中 多模态训练与对齐 ：multi-modal(title,abstract)
AI总结 VulStyle通过融合函数级源代码、非终端AST结构和代码风格度量特征，提升漏洞检测性能，实现BigVul和VulDeePecker上的F1指标提升。
Comments 12 pages, 2 figures. Accepted at the 56th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN 2026)
面向拓扑的表示对齐用于半监督视觉-语言学习
机构 * KAIST（韩国科学技术院） ； POSTECH
专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV
AI总结 本文提出ToMA框架，通过持久同调识别拓扑显著边，利用跨模态对应关系对齐多模态表示，提升视觉-语言学习在遥感和时尚检索中的性能。
Comments 30 pages, 10 figures, 24 tables
融合天气基础模型与卫星实现精细化太阳能辐照度预报
机构 * DAMO Academy, Alibaba Group（阿里集团达摩院） ； College of Computer Science, Zhejiang University of Technology（浙江工业大学计算机学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出Baguan-solar框架，融合全球天气基础模型与高分辨率静止卫星图像，实现千米级24小时辐照度预报，优于现有基准模型，降低RMSE 16.08%。
CARD: 视觉语义单元的非均匀量化用于生成推荐
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 CARD框架通过引入视觉语义单元统一文本、视觉和协同信号，提升生成推荐中高质SID学习，同时采用非均匀量化框架解决语义分布不均问题，实验显示其优于基线方法。
通过语言引导的语义线索实现对遮挡和小物体的鲁棒接地
机构 * Integrated Vision Language Lab.（集成视觉语言实验室）
专题命中 其他多模态 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 本文提出通过语言引导的语义线索提升MLLM在拥挤场景中的接地能力，通过语义线索提取器和文本嵌入引导优化对象语义，实验表明能有效提高接地精度。
Comments 4 pages, 2 figures, ICASSP 2026
FASH-iCNN：通过多模态CNN探针使编辑时尚身份可视化
机构 * Howard University（霍华德大学） ； Adobe Research（Adobe研究）
专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM
AI总结 FASH-iCNN通过多模态CNN探针分析87547张Vogue runway图像，揭示时尚品牌、时代和色彩传统，提升时尚AI系统的可解释性。
Comments 5 pages, 4 tables, 1 figure. Under review
证据树：高效的'系统2'搜索用于忠实的多模态接地
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 其他多模态 ：multimodal(title,abstract)
AI总结 本文提出Tree-of-Evidence算法，通过离散优化问题实现多模态模型的可解释性，通过证据瓶颈和束搜索生成可审计的证据集，保留高预测性能并提升决策一致性。
Journal ref ACL 2026 Findings
多模光纤传感用于海上环境和基础设施监测
专题命中 其他多模态 ：multi-modal(title)
AI总结 利用分布式声学、偏振和布里渊传感监测118公里海底电缆，检测到风暴引起的应变达0.003με动态和180με静态，展示出环境载荷下不同模式的响应特征。
Comments Published at OFC 2026
三颗行星的故事：3D云反馈增强了暖木星的光谱多样性
专题命中 其他多模态 ：multi-modal(abstract)
AI总结 研究通过3D云反馈机制分析三颗暖木星的光谱差异，发现云层分布和重力影响导致光谱多样性，揭示了云输运、辐射传输和大气环流的耦合作用。
Comments Submitted to Astronomy & Astrophysics
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈