AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
属性提示核哈希用于无监督数据高效跨模态检索
机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； VinUniversity
专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV
AI总结 提出属性提示核哈希（APKH），利用视觉-语言基础模型的广义属性先验，通过上下文优化属性核映射和核平滑对比对齐，在数据受限场景下实现从可见到不可见类别的跨模态检索。
协同感知-推理治理：用可验证解剖证据为医学多模态大语言模型提供基础
机构 * Huazhong University of Science and Technology（华中科技大学） ； Imperial Global Singapore, Imperial College London（帝国理工学院新加坡全球中心） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； Anhui University（安徽大学）
专题命中 跨模态检索 ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出一种无需训练的证据注入框架，通过ROI引导的视觉激活调制和解剖坐标语义标记，协同校准视觉感知与文本推理，动态路由任务特定干预，有效减少医学MLLM的幻觉。
Comments Accepted by MICCAI 2026 (Early Accept, Top 9%)
ClinRAG-GRAPH: 基于临床先验的检索增强图模型与领域对抗学习用于乳腺癌pCR预测
机构 * Department of Medical Imaging, Radboud University Medical Center, Nijmegen, The Netherlands（拉德堡德大学医学中心医学影像科，奈梅亨，荷兰） ； The Netherlands Cancer Institute, Amsterdam, The Netherlands（荷兰癌症研究所，阿姆斯特丹，荷兰） ； Faculty of Applied Sciences, Macao Polytechnic University, Macau, China（澳门理工大学应用科学学院，澳门，中国） ； Boston Children’s Hospital, Harvard Medical School, Boston, USA（波士顿儿童医院，哈佛医学院，波士顿，美国） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences, Hong Kong, China（中国科学院香港创新研究院人工智能与机器人创新中心，香港，中国） ； Imaging Division, University Medical Center Utrecht, Utrecht, The Netherlands（乌得勒支大学医学中心影像部，乌得勒支，荷兰） ； Department of Radiology, Fuzhou University Affiliated Provincial Hospital, Fuzhou, China（福州大学附属省立医院放射科，福州，中国） ； Department of Radiology, Yantai Yuhuangding Hospital, Shandong, China（烟台毓璜顶医院放射科，山东，中国）
专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出ClinRAG-GRAPH框架，通过构建患者内临床先验图、双分支领域对抗学习和大语言模型驱动的子图检索增强模块，实现术前pCR预测，在内部和外部测试集上取得良好性能。
Comments 11 pages, 5 figures
学习组合：重新审视零样本组合图像检索的代理任务设计
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 跨模态检索 ：image-text(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出FoCo模型，通过文本锚定的视觉聚合和上下文条件语义补全两个代理任务联合学习组合函数，在零样本组合图像检索中取得最优性能。
Comments Accepted by ECCV 2026
SleepLM：人类睡眠的自然语言智能
机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI
AI总结 提出SleepLM系列睡眠语言基础模型，通过多模态对齐实现自然语言驱动的睡眠解释与交互，在零样本/少样本学习、跨模态检索等任务上超越现有方法。
Comments spotlight presentation
Journal ref Proceedings of the 43st International Conference on Machine Learning (ICML 2026)
RAG-VisualRec: 一种面向电影领域的视觉与文本增强的检索增强生成推荐开放资源
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.MM
AI总结 本文提出RAG-VisualRec，通过结合LLM生成的项目描述和剪辑生成的视觉嵌入，提升多模态推荐系统的检索与生成能力，通过可配置融合策略和质量控制模块提高推荐效果和可复现性。
Comments 30 pages, 9 figures, 7 tables
M2Note: 通过错误笔记本学习实现视觉语言模型的持续演化
专题命中 跨模态检索 ：multimodal(abstract)
AI总结 提出M2Note，一种无需训练的持续演化框架，通过将失败轨迹转化为可编辑的笔记，利用多模态检索增强生成在推理时引导模型，避免重复错误，并在多个基准上提升性能。
利用多模态大语言模型推荐可用性改进
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)
AI总结 本文提出一种利用多模态大语言模型自动识别和推荐用户界面可用性改进的方法，通过分析有限的应用上下文和用户交互屏幕记录，基于尼尔森可用性启发式方法生成优先级排序的改进建议，验证了其在软件工程中的实用性。
Comments Accepted for publication at the ACM International Conference on the Foundations of Software Engineering (FSE 2026)
AnyMatch: 利用大规模单视图图像增强通用多模态图像匹配
机构 * Electronic Information School, Wuhan University（武汉大学电子信息学院） ； School of Robotics, Wuhan University（武汉大学机器人学院）
专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 提出AnyMatch框架，利用单视图图像生成多模态训练数据，通过单目深度估计、3D重投影、扩散修复和跨模态图像翻译合成几何一致的多视图多模态图像对，构建大规模数据集Any-syn，显著提升多模态匹配网络的泛化性和鲁棒性。
Comments Accepted by ECCV 2026
眼见为实：基于视觉锚点的提示重写对齐用于文本到图像生成
机构 * Peking University（北京大学） ； Tencent（腾讯） ； Dalian University of Technology（大连理工大学） ； Nanyang Technological University（南洋理工大学） ； University of Cambridge（剑桥大学） ； Zhejiang University（浙江大学）
专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出FaithRewriter框架，利用多模态大模型生成中间视觉线索，结合大语言模型生成视觉锚定的增强提示，再蒸馏至小模型，以缩小用户意图与生成图像之间的差距。
通过迭代元反射实现自主科学发现
机构 * University of Edinburgh（爱丁堡大学） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出DiscoPER框架，利用大语言模型进行开放式的自主科学发现，通过动态代码生成、统计检验和二阶推理机制，在iNatDisco基准上以72.7%假设支持率恢复8/9已知模式。
基于扩散的共生信息交互的联合医学图像增强与分割
机构 * Shenzhen Research Institute, The Chinese University of Hong Kong（香港中文大学深圳研究院） ； University of Science and Technology of China（中国科学技术大学） ； Imperial Global Singapore, Imperial College London（伦敦帝国学院新加坡分校）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出DiSIINet，利用扩散模型和共生信息交互模块，在统一框架中实现图像增强与分割的相互促进，在多模态医学图像上取得显著性能提升。
Comments Accepted by IJCAI 2026
多模态深度转换模型在卒中结局预测中的可解释性
机构 * University Hospital Zurich, Department of Neurology（苏黎世大学医院神经内科） ； Zurich University of Applied Sciences, Institute of Data Analysis and Process Design (IDP)（苏黎世应用科学大学数据分析与流程设计研究所） ； University of Zurich, Epidemiology, Biostatistics and Prevention Institute (EBPI)（苏黎世大学流行病学、生物统计学与预防研究所） ； Thurgau Institute for Digital Transformation (TIDIT)（图尔高数字转型研究所）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出多模态深度转换模型，结合统计方法和神经网络，通过改进Grad-CAM和Occlusion实现图像分支的可解释性，在卒中功能结局预测中达到AUC 0.81。
Comments Accepted at MICCAI 2026
触摸与感受数据：面向无障碍教育的触觉统计图可复用软件流水线
专题命中 多模态生成 ：multi-modal(abstract)
AI总结 提出一种三层可复用软件流水线，在约1500行JavaScript中自动生成触觉统计图，支持盲人和低视力学生通过触觉交互学习数据分析，生成打印文件耗时低于250毫秒。
Journal ref IEEE IRI'2026
Plant-On-a-Disc (POD): 一种实现原位根系分析的植物微流控平台
专题命中 多模态生成 ：multimodal(abstract)
AI总结 提出Plant-on-a-Disc (POD)平台，利用径向微通道设计实现八株幼苗并行培养，在受控水动力条件下进行非侵入式原位多模态分析，揭示水流驱动根系多尺度响应。
Comments 34 pages, 7 figures
分解、比较与决策：多模态大语言模型是隐式少样本学习者
机构 * Tuebingen AI Center, University of Tuebingen（图宾根大学图宾根人工智能中心）
专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV
AI总结 提出DeCoDe方法，通过将少样本分类分解为成对图像比较，利用现有多模态大语言模型（MLLM）的logit作为相似度分数，无需额外训练即可实现强少样本分类，在多个基准上显著超越现有方法。
非对称互变分学习实现多模态连续推理
机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 针对多模态大语言模型离散推理丢失感知细节及训练-推理不匹配问题，提出非对称互变分学习框架，通过双向KL散度校准先验与后验，缓解答案泄露，提升连续潜在推理性能。
超越视觉取证：审计多模态鲁棒性用于合成医学图像检测
机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Boston Children’s Hospital（波士顿儿童医院） ； Harvard Medical School（哈佛医学院） ； Optum AI, UnitedHealth Group（Optum AI, 联合健康集团）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 针对合成医学图像检测中多模态鲁棒性不足的问题，提出图像-记录配对基准，揭示视觉语言模型因过度依赖记录上下文而导致的预测偏差。
Comments Accepted at MICCAI 2026. Version 2 is a substantial journal extension of the MICCAI 2026 conference version, with additional provenance perturbations, paired statistical analysis, extended SAVC mitigation experiments, and broader deployment discussion. 19 pages, 3 figures, 2 tables
检索图像作为视觉思维：面向开放与封闭差距的无训练多模态上下文学习
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出无训练框架ReVisIT，通过检索图像-标签对作为视觉思维单元，结合结构化类定义、多模态检索和交替注入示例，在多个基准上显著提升性能，弥合开放与封闭任务差距。
Comments 12 pages, 6 figures. Includes appendix. Introduces the MAAC-Bench benchmark
从技术指标到用户感知：面向物体检测与抓取的多模态人机交互系统用户研究
机构 * Dalian University of Technology（大连理工大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 通过24名用户的受试内实验，验证了端到端任务成功率从75%提升至90%的技术改进能显著提升用户对速度、可靠性和整体能力的感知，且70.83%的用户偏好改进系统。
Comments 8 pages
多重性是多模态学习中不可避免且固有的挑战
机构 * Princeton University（普林斯顿大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文论证多模态数据固有的多对多映射关系（多重性）是影响数据构建、模型训练和评估的根本瓶颈，并呼吁发展多重性感知的学习框架与评估协议。
Comments ICML 2026 Position Track
SOCO: 视觉基础模型中语义对象对应关系的基准测试
机构 * Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所） ； Saarland Informatics Campus（萨尔州信息学校园） ； CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心） ； University of Freiburg（弗赖堡大学）
专题命中 多模态评测 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV
AI总结 提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
Comments Project page: https://genintel.github.io/SOCO/
SegFly：大规模航空RGB-热红外语义分割的数据集与2D-3D-2D范式
机构 * Fraunhofer Institute IVI（弗劳恩霍夫交通与基础设施系统研究所） ； TU Munich（慕尼黑工业大学） ； MCML（慕尼黑机器学习中心） ； UCLA（加州大学洛杉矶分校） ； Uni Cambridge（剑桥大学）
专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对航空RGB-T数据集规模小、标注成本高和对齐困难的问题，提出几何驱动的2D-3D-2D范式，通过少量RGB标注自动生成密集伪标签并实现跨模态对齐，构建含2万+RGB图像和1.5万+RGB-T对的SegFly基准，实验表明该范式有效提升分割性能。
Journal ref ECCV 2026
DigitalCoach：人类与智能体计算机使用辅导中的沟通与基础差距
机构 * University of California, Berkeley（加州大学伯克利分校） ； Technical University of Munich（慕尼黑工业大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出DigitalCoach数据集，包含72次人机辅导会话，评估模型在计算机使用教学中的表现，发现模型在解释、错误诊断和视觉基础方面存在不足。
GameDevBench: 通过游戏开发评估智能体能力
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出GameDevBench基准，包含333个游戏开发任务，评估智能体在多模态软件开发中的能力，发现最佳智能体仅解决53.8%任务，并引入视觉反馈机制提升性能。
DroneIQA-VLE：基于视觉-语言集成的多任务无人机图像质量评估
机构 * East China Normal University（华东师范大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出DroneIQA-VLE框架，通过集成SigLIP2视觉编码器与多任务回归头以及LoRA微调的Qwen3.5-9B多模态大模型，联合预测全局、目标和背景质量分数，在ICME 2026无人机图像质量评估挑战赛中获得第二名。
Comments The model achieves 2nd place in ICME 2026 Drone-IQA Grand Challenge on Target-aware Image Quality Assessment for Low-altitude UAV Images
PixelEyes: 解耦感知与推理以实现精准视觉证据查找
机构 * Wuhan University（武汉大学） ； UC Merced（加州大学默塞德分校） ； UTS（UTS大学） ； NUS（新加坡国立大学） ； NTU（南洋理工大学） ； CASIA（中国科学院自动化所）
专题命中 多模态评测 ：MLLM(abstract)；分类 cs.CV
AI总结 针对多轮视觉推理中目标定位失败导致轨迹冗余的问题，提出PixelEyes，通过解耦推理与感知（推理器决定查找目标，专用感知工具定位），引入掩码引导视觉搜索和语义区域广度优先搜索，构建PixelEyes-6K数据集和Pinpoint-Bench基准，显著提升定位准确性。
Comments 22pages, 10 figures
SpatialMosaic：一个多视角VLM数据集用于部分可见性
机构 * Seoul National University（首尔大学） ； University College London（伦敦大学学院） ； Kyung Hee University（庆熙大学） ； POSTECH（浦项科技大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出SpatialMosaic数据集，通过多视角图像生成2M问答对，引入SpatialMosaic-Bench基准测试，结合3D重建模型的混合框架提升空间推理能力。
OmniFall: 从舞台到合成再到真实场景，一个用于鲁棒跌倒检测的统一多域数据集
机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Mercedes-Benz Tech Innovation（梅赛德斯-奔驰技术创新）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出OmniFall统一基准，包含15k视频（80小时）的帧级标注，覆盖舞台、合成和真实三个域，评估微调模型和零样本多模态大模型，发现合成数据微调模型在跌倒状态检测上显著优于零样本模型。
RoadBench: 在城市道路场景下对多模态大语言模型进行细粒度空间理解与推理的基准测试
机构 * Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系、北京信息科学与技术国家研究中心） ； Zhongguancun Academy（中关村学院） ； Amap, Alibaba Group（阿里巴巴集团高德地图）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 针对城市复杂场景中多模态大语言模型在细粒度空间理解与推理能力上的不足，提出RoadBench基准，包含8个任务、3040个测试用例，通过鸟瞰图和第一人称视角图像评估模型性能，揭示现有模型在此类任务上的显著缺陷。
Comments Accepted by ECCV 2026, the code and data are publicly available at: https://github.com/tsinghua-fib-lab/RoadBench
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈