AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
透过镜中奇境：弱监督小样本分割的双重视角
机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出同源异构网络，通过异构视觉聚合和转移模块增强双重视角互补性，结合异构CLIP文本信息，在弱监督小样本分割任务中以极少参数超越现有方法。
Comments Accepted by IEEE Transactions on Image Processing (TIP)
GreenRFM：通过以监督为中心的预训练学习资源高效的放射学视觉-语言基础模型
机构 * School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China (USTC)（生物医学工程学院，生命科学与医学系，中国科学技术大学） ； Center for Medical Imaging, Robotics, Analytic Computing & Learning (MIRACLE)（医学影像、机器人、分析计算与学习中心） ； Suzhou Institute for Advanced Research, USTC（苏州先进研究院，中国科学技术大学） ； Department of Radiology, The First Affiliated Hospital of USTC, Division of Life Sciences and Medicine, USTC（放射科，中国科学技术大学第一附属医院，生命科学与医学系，中国科学技术大学） ； T Magnetic Resonance Translational Medicine Research Center, Department of Radiology, The First Affiliated Hospital (Southwest Hospital) of Army Medical University（7T磁共振转化医学研究中心，放射科，中国医学大学第一附属医院（西南医院））
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出GreenRFM框架，通过将噪声报告转化为结构化诊断信号，以监督为中心预训练，在有限资源下实现高效3D放射学视觉-语言表示，零样本CT-RATE AUC达84.8。
6根手指，1个肾脏：自然对抗性医学图像揭示视觉语言模型的关键弱点
机构 * German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems（德国癌症研究中心（DKFZ）海德堡，智能医学系统部门） ； Medical Faculty, Heidelberg University（海德堡大学医学院） ； Faculty of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学学院） ； HIDSS4Health - Helmholtz Information and Data Science School for Health, Karlsruhe/Heidelberg（HIDSS4Health - 哈勃-马克斯信息与数据科学健康学院，卡尔斯鲁厄/海德堡） ； Helmholtz Imaging, German Cancer Research Center (DKFZ)（哈勃-马克斯成像，德国癌症研究中心（DKFZ）） ； Engineering Faculty, Heidelberg University（海德堡大学工程学院） ； School of Computation, Information and Technology, TUM（技术大学（TUM）计算、信息与技术学院） ； Weldon School of Biomedical Engineering, Purdue University（普渡大学韦尔登生物医学工程学院） ； Department of Visceral, Thoracic and Vascular Surgery, University Hospital and Faculty of Medicine Carl Gustav Carus, TUD Dresden University of Technology（visceral、胸腔和血管外科部门，技术大学（TUD）德累斯顿大学医院和医学院） ； National Center for Tumor Diseases (NCT), NCT Heidelberg, a partnership between DKFZ and University Hospital Heidelberg（肿瘤疾病国家中心（NCT），海德堡NCT，DKFZ与海德堡大学医院之间的合作） ； Heidelberg University Hospital, Surgical Clinic, Surgical AI Research Group（海德堡大学医院，外科诊所，外科人工智能研究组） ； Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（Mohamed Bin Zayed人工智能大学（MBZUAI），阿布扎赫，阿拉伯联合酋长国）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出AdversarialAnatomyBench基准，测试25个视觉语言模型在罕见解剖变异上的表现，发现准确率从71%降至28%，且模型缩放和干预无法解决。
基于条件流匹配的视觉引导声学增强
机构 * LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院） ； Meta
专题命中 音频语音多模态 ：cross-modal(abstract)；audio-visual(abstract)；分类 eess.AS
AI总结 提出条件流匹配生成框架解决视觉引导音频重混中的多对多映射问题，通过滚动损失和跨模态融合模块实现优于判别方法的性能。
预训练语言模型时代语义角色标注的系统综述
机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute (SLAI)（深圳南山区研究院） ； University of Oslo（奥斯陆大学） ； Charles University（查尔斯大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 提出四维分类法系统综述SRL研究，分析句法特征的作用条件，首次系统处理大语言模型时代的SRL，并扩展至多模态设置。
Comments 54 pages, 9 figures, 9 tables. Accepted at Artificial Intelligence Review
AIDEN：面向视障人士的AI助手设计与初步研究
机构 * Institute for Computer Research, University of Alicante（计算机研究所，阿利坎特大学） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出AIDEN系统，结合YOLO实时目标检测、LLaVA场景描述与OCR，以及基于盖革计数器隐喻的连续触觉引导，避免听觉过载并保护隐私，实验表明用户满意度高。
Journal ref IEEE Access 14 (2026) 80406-80420
MAVFusion: 基于运动感知稀疏交互的高效红外与可见光视频融合
机构 * Foshan University（佛山大学） ； Kunming University of Science and Technology（昆明理工大学） ； China University of Mining and Technology（中国矿业大学）
专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出MAVFusion端到端视频融合框架，通过运动感知稀疏交互机制，利用光流识别动态区域并分配跨模态注意力，对静态区域使用轻量弱交互模块，在保持时间一致性和细节的同时加速推理，达到14.16 FPS。
Comments Accepted at ECCV 2026
面向机器的对称熵约束视频编码
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；分类 cs.MM
AI总结 提出SEC-VCM框架，通过双向熵约束机制对称对齐视频编解码器与视觉骨干网络，保留语义并丢弃无关信息，结合语义-像素双路径融合提升机器视觉任务性能，在多项任务上显著优于H.266/VVC。
Comments Accepted by IEEE Transactions on Image Processing. This is the author's accepted manuscript (AAM)
观察、推断、干预：面向目标导向社交智能的主动世界建模
机构 * Mita Technology（Mita技术公司） ； University of Bristol（布里斯托大学） ； University of Toronto（多伦多大学） ； McGill University（麦吉尔大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 提出 See-Infer-Intervene (SII) 框架和主动意图世界模型 (PIWM)，通过观察顾客行为、推断潜在意图并选择干预动作，实现零售场景中的主动辅助，在 GuidanceSalesBench 基准上达到 0.641 macro F1。
Comments 16 pages, 3 figures, 9 tables. Preprint
基于稀疏卫星时间序列和天气协变量的概率NDVI预测
机构 * Department of Naval, Electrical, Electronics and Telecommunications Engineering, University of Genoa, Italy（海军、电子、电子与电信工程系，热那亚大学，意大利）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出一种概率预测框架，利用稀疏卫星数据和天气协变量进行田间NDVI预测，通过融合历史和未来数据实现多步分位数预测，实验表明优于传统和深度学习方法。
基于语言驱动的序列级模态不变表示学习用于视频可见光-红外行人重识别
机构 * Shandong Key Laboratory of Ubiquitous Intelligent Computing, School of Information Science and Engineering, University of Jinan（山东省 Ubiquitous Intelligent Computing 重点实验室，济南大学信息科学与工程学院） ； College of Information Science and Technology & Artificial Intelligence, Nanjing Forestry University（信息科学与技术及人工智能学院，南京林业大学） ； Department of Informatics, Modeling, Electronics, and Systems, University of Calabria（信息学、建模、电子与系统系，卡利博大学）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出LSMRL方法，通过CLIP的时空特征学习、语义扩散和跨模态交互模块，结合模态级损失，学习序列级模态不变表示，在VVI-ReID任务上超越现有方法。
基于历史条件的时空视觉令牌剪枝用于高效视觉-语言导航
机构 * Department of Computer and Information Sciences at the University of Delaware（德克萨斯大学达勒姆分校计算机与信息科学系） ； University of Maryland’s Department of Computer Science（马里兰大学计算机科学系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
专题命中 视频多模态 ：multimodal(abstract)
AI总结 提出一种无需训练的时空视觉令牌剪枝框架，通过空间令牌选择和时空压缩减少冗余计算，在保持导航精度的同时显著提升推理效率，并在真实机器人上验证了低延迟指令跟随导航。
Comments International Conference on Intelligent Robots and Systems (IROS) 2026
生成一个Paracosm用于免训练零样本组合图像检索
机构 * University of Macau（澳门大学） ； UC Irvine（伊丽莎白女王大学） ； Institute of Collaborative Innovation（协同创新研究院）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Paracosm方法，通过大多模态模型直接生成“心理图像”并构建合成域，实现免训练的零样本组合图像检索，在多个基准上达到最优性能。
Comments Accepted to ECCV 2026. Website and code: https://leowangtong.github.io/Paracosm/
BrepCoder: 用于多任务B-rep推理的统一多模态大语言模型
机构 * Chungnam National University（全南国立大学）
专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)
AI总结 提出BrepCoder，一种统一的多模态大语言模型，通过将CAD建模序列转换为类Python代码并与B-rep对齐，采用两阶段训练策略，实现从B-rep输入执行多种CAD任务，包括补全、纠错和问答。
重建对齐改进统一多模态模型
机构 * UC Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； Duke University（杜克大学）
专题命中 多模态生成 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI
AI总结 提出重建对齐（RECA），一种资源高效的后训练方法，利用视觉理解编码器嵌入作为密集文本提示，通过自监督重建损失对齐理解与生成，显著提升多种统一多模态模型的生成和编辑性能。
Comments 43 pages, 36 figures and 14 tables; accepted by ICLR 2026
语义生成微调用于统一多模态模型
机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent ARCLab（腾讯ARCLab）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出语义生成微调（SGT）方法，通过将高阶语义任务作为生成代理，统一多模态模型的感知与生成能力，提升多模态理解和生成质量。
Comments 14 pages, 13 figures
TF-TI2I：通过文本到图像模型中的多模态隐式上下文学习实现无需训练的文本与图像到图像生成
机构 * National Yang Ming Chiao Tung University
专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV
AI总结 提出无需训练的TF-TI2I方法，利用MM-DiT架构中文本标记隐式学习视觉信息，通过参考上下文掩码和胜者全取模块实现选择性信息共享，并引入FG-TI2I基准，在复杂图像生成任务中表现稳健。
CogAD: 认知层次引导的端到端自动驾驶
机构 * HAOMO.AI Technology Co., Ltd（HAOMO.AI技术有限公司）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV
AI总结 提出CogAD模型，通过全局到局部的层次感知和意图条件多模态轨迹生成，模拟人类驾驶员的认知层次机制，在nuScenes和Bench2Drive上实现端到端规划的最优性能，尤其在长尾场景和复杂真实驾驶条件下表现优异。
Comments CVPR2026 Workshop on Autonomous Driving
LITMUS：基于快速可微模型的贝叶斯滞后恢复在回波测绘中的应用
专题命中 多模态生成 ：multimodal(abstract)
AI总结 LITMUS利用快速可微模型实现回波测绘中滞后恢复，通过处理季节观测窗口的多模态混叠问题，提高滞后验证的准确性，显著优于现有方法JAVELIN。
Comments 17 Pages, 10 Figures
Journal ref pasa.2026.10149
GO: 大户外多模态数据集
机构 * Mike Walker ’66 Department of Mechanical Engineering, Texas A&M University, College Station, TX, USA（迈克·沃克66机械工程系，德克萨斯A&M大学，学院站，德克萨斯州，美国） ； DEVCOM Army Research Laboratory, Adelphi, MD, USA（陆军研究实验室，阿德菲，马里兰州，美国） ； University of Texas at Austin Center for Autonomy, Austin, TX, USA（德克萨斯大学奥斯汀分校自主性中心，奥斯汀，德克萨斯州，美国）
专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)
AI总结 针对非结构化环境中地面机器人研究，提出包含六种互补传感器模态的大规模多模态越野数据集，支持语义分割、目标检测和SLAM等任务，以提升退化条件下的鲁棒性。
Comments 7 pages, 7 figures, accepted at IV 2026
基于张量分解的蒙特卡洛树搜索用于机器人优化问题
机构 * Idiap Research Institute（Idiap研究机构） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑分校）
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 提出TTTS算法，利用张量分解压缩决策树分支间的隐式相关性，以线性复杂度降低MCTS的计算和存储开销，在逆运动学、运动规划、多阶段操作等任务中实现高效全局优化。
Comments 25 pages, 17 figures
VisNec: 衡量和利用视觉必要性进行多模态指令微调
机构 * SJTU（上海交通大学） ； Universiti Malaya（马来亚大学） ； CMU（卡内基梅隆大学） ； MBZUAI（穆萨台普大学人工智能研究所） ； KIT（卡尔斯鲁厄理工学院） ； KAUST（王国立阿联酋科学技术大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出VisNec分数衡量视觉输入在多模态指令微调中的边际贡献，结合语义聚类选择高必要性样本，在15%数据上达到全数据性能的100.2%。
Comments Accepted at ECCV 2026. Project Page: https://dmk041218.github.io/VisNec/
PathFLIP：面向多功能计算病理学的细粒度语言-图像预训练
机构 * Harbin Institute of Technology, Shenzhen, School of Computer Science and Technology（哈尔滨工业大学（深圳）计算机科学与技术学院） ； National University of Singapore, Department of Electronic and Computer Engineering（新加坡国立大学电子与计算机工程系）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV
AI总结 提出PathFLIP框架，通过将幻灯片级描述分解为区域级子描述并生成文本条件区域嵌入，实现细粒度视觉-语言对齐，在多个基准上优于现有模型且训练数据更少。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈