AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
SyncLoop: 一种用于自我改进数学推理的多模态双循环框架
机构 * Sun Yat-sen University（中山大学） ； The Hong Kong Polytechnic University（香港理工大学） ； MBZUAI ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Yinwang Intelligent Technology Co. Ltd（依文智科有限公司）
专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL
AI总结 提出SyncLoop多模态双循环框架，通过跨模态数据演化循环和数据-模型演化循环联合进化训练数据和模型能力，解决数据复杂度不匹配和演化分离问题，在数学推理基准上持续提升性能。
Comments ECCV2026
BOFA: 基于CLIP的类增量学习中的桥接层正交低秩融合
专题命中 图文多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出BOFA框架，通过将适应限制在CLIP的跨模态桥接层并使用正交低秩融合防止遗忘，无需额外参数或数据回放，实现高效类增量学习。
Comments Accepted by AAAI 2026
Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(27): 22967-22975, 2026
跨模态鲁棒性迁移（CMRT）：利用对抗文本训练鲁棒的语音翻译模型
机构 * Department of Advanced Computing Sciences（先进计算科学系）
专题命中 音频语音多模态 ：cross-modal(title,abstract)；分类 cs.CL
AI总结 提出跨模态鲁棒性迁移（CMRT）框架，将文本模态的对抗鲁棒性迁移到语音模态，无需生成对抗语音数据，在四个语言对上平均提升超过3个BLEU点。
Comments A shorter version has been accepted at INTERSPEECH2026
从语义和语音角度探测语音编解码器
机构 * University of Southern California（南加州大学） ； Dolby Laboratories（杜比实验室）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 本文通过三项任务系统分析多种语音分词器编码的信息，发现当前分词器主要捕获语音结构而非词汇语义，为下一代语音分词方法设计提供指导。
Comments Accepted by Interspeech 2026
Tinker Tales：一个用于儿童与AI共同创意故事讲述的有形对话系统
机构 * Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系） ； School of Nursing, Emory University（埃默里大学护理学院）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 提出Tinker Tales有形对话系统，通过结合物理故事板、NFC玩具和移动应用，支持儿童与AI在四个叙事阶段进行协作故事创作，并发现提示框架影响儿童叙事贡献的形式和一致性。
Comments Accepted to SIGDIAL 2026
立场：感知之后推理意味着无视觉推理
机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； Zhongguancun Academy（中关村学院） ； Nanjing University（南京大学） ； Nankai University（南开大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文质疑多模态研究中语言推理能弥补视觉缺陷的假设，提出“感知-推理”范式导致视觉推理退化为文本空间推理，并通过图灵眼测试验证文本推理无法修复感知失败，主张转向感知内的推理。
模态隔离门控融合：用于稳健多模态前列腺MRI分割的架构无关方法
机构 * The Second Xiangya Hospital of Central South University（中南大学湘雅医学院第二医院） ； The Third Xiangya Hospital of Central South University（中南大学湘雅医学院第三医院） ； School of Life Sciences, Central South University（中南大学生命科学学院） ； Hunan Provincial Key Laboratory of Medical Information Research (Central South University)（湖南省医学信息研究重点实验室（中南大学）） ； Hunan Provincial Clinical Medical Research Center for Cardiovascular Intelligent Medicine（湖南省心血管智能医学临床医学研究中心）
专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出模态隔离门控融合（MIGF）方法，通过独立编码流和门控阶段提升多模态前列腺MRI分割的鲁棒性，实验表明其在不同模态缺失和伪影情况下均有效。
Comments Major revision. Single-fold analysis replaced by 5-fold cross-validation (180 trained models) plus a direct gate-mechanism analysis; conclusions updated to show that modality gating is backbone-conditional. Supersedes v1
GeoRanker：面向全球图像地理定位的距离感知排序
机构 * Department of Data Science, City University of Hong Kong（城市大学数据科学系） ； Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Geography, University of Wisconsin-Madison（威斯康星大学麦迪逊分校地理系）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV
AI总结 提出GeoRanker框架，利用大视觉语言模型联合编码查询-候选交互并预测地理邻近性，引入多阶距离损失以建模结构化空间关系，在IM2GPS3K和YFCC4K基准上达到最优。
Comments NeurIPS 2025
通过配对图像域检索和文本域增强提高3D脑MRI报告生成的事实准确性
机构 * Cancer Biology, Seoul National University College of Medicine, Korea（首尔国立大学医学院癌症生物学系，韩国） ； Radiology, Massachusetts General Hospital（麻省总医院放射科） ； Harvard Medical School（哈佛医学院） ； Biomedical Systems Informatics, Yonsei University College of Medicine, Korea（延世大学医学院生物医学系统信息学系，韩国） ； Graduate School, Yonsei University, Korea（延世大学研究生院，韩国） ； Radiology, Seoul National University College of Medicine, Korea（首尔国立大学医学院放射科，韩国） ； Radiology, Seoul National University Hospital, Korea（首尔国立大学医院放射科，韩国） ； Radiology, Seoul National University Bundang Hospital, Korea（首尔国立大学 Bundang 医院放射科，韩国） ； Radiology, SMG-SNU Boramae Medical Center, Korea（SMG-SNU Boramae 医疗中心放射科，韩国） ； Psychiatry, Yonsei University College of Medicine, Korea（延世大学医学院精神病学系，韩国） ； Behavioral Sciences in Medicine, Yonsei University College of Medicine, Korea（延世大学医学院医学行为科学系，韩国） ； Yonsei Institute for Digital Health, Korea（延世大学数字健康研究院，韩国） ； Kim Jaechul Graduate School of AI, KAIST, Korea（金 Jaechul人工智能研究生院，韩国）
专题命中 多模态生成 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV
AI总结 提出PIRTA框架，通过检索相似3D DWI/ADC图像并利用其配对报告指导LLM生成，避免显式跨模态对齐，显著提高缺血区域准确性。
Comments MICCAI 2026
MSAVBench：面向多镜头音频-视频生成的全面可靠评估
机构 * Fudan University（复旦大学） ； The University of Hong Kong（香港大学） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Zhejiang University（浙江大学） ； Peking University（北京大学）
专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV
AI总结 提出首个多镜头音频-视频生成基准MSAVBench，通过自适应混合评估框架在四个维度上系统评估19个模型，发现当前系统在导演级控制和细粒度音视频同步上仍存在挑战。
LoT-Pass: 面向图像到视频生成的长期鲁棒图像水印
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对图像引导视频生成中源图像追踪缺失的问题，提出跨模态水印框架I2VWM，通过视频模拟噪声层和光流对齐模块增强水印的时间鲁棒性，在开源和商业模型上验证了效果。
Comments Accepted by ECCV 2026
AMVICC: 一种用于VLM和IGM跨模态故障模式分析的新型基准
机构 * Centennial High School, Frisco, Texas, USA（Centennial High School, Texas, USA） ； Lebanon Trail High School, Frisco, Texas, USA（Lebanon Trail High School, Texas, USA） ； West Windsor-Plainsboro High School, Princeton Junction, New Jersey, USA（West Windsor-Plainsboro High School, New Jersey, USA） ； Algoverse AI Research, Palo Alto, California, USA（Algoververse AI Research, California, USA）
专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出AMVICC基准，通过图像到文本和文本到图像任务系统比较多模态大模型和图像生成模型的视觉推理失败模式，发现故障模式在模型和模态间共享，但存在特定于模型和模态的失败。
Comments 14 pages, 4 figures, 8 tables. Presented at the 39th Conference on Neural Information Processing Systems Workshop: VLM4RWD. Presented at the 43th International Conference on Machine Learning Workshops: ICML 2026 CTB, ICML 2026 FAGEN, ICML 2026 EMM-QA. Authors Aahana Basappa and Pranay Goel contributed equally. Code: https://github.com/AahanaB24/AMVICC, Data: https://doi.org/10.5281/zenodo.17646068
面向工业多模态监测的非对称感知路由：一个诊断框架
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出非对称感知路由框架，通过三步诊断（单模态性能差距、门权重归因、模态损坏测试）决定多模态融合策略，在三个数据集上验证了其有效性。
Comments A subsequent extension of this analysis to a larger corpus found that the heterogeneity predictor is collinear with the industrial-versus-general domain split, so the corresponding effect is not identifiable on the available data
MedLayBench-V：面向医学视觉语言模型中专家与普通人语义对齐的大规模基准
机构 * Seoul National University（首尔国立大学） ； Seoul National University College of Medicine（首尔国立大学医学院） ； Department of Radiology, Seoul National University Hospital（首尔国立大学医院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔国立大学医院健康人工智能研究所） ； The Advanced Imaging and Computational Neuroimaging (AICON) Laboratory（先进影像与计算神经影像实验室）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 提出首个大规模多模态基准MedLayBench-V，通过结构化概念基础精炼管道实现专家-普通人语义对齐，用于训练和评估能弥合医患沟通鸿沟的医学视觉语言模型。
Comments Findings of ACL 2026. 9 pages, 5 figures, 11 tables, plus appendix
Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 18375-18394
GroundSet: 基于地籍数据的空间理解向量数据集
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 针对多模态大模型在遥感精细空间理解上的不足，提出基于地籍矢量数据的大规模数据集，含510k高分辨率图像和380万标注对象，通过指令微调基准验证，标准架构可掌握细粒度空间定位。
Colon-Bench：一种用于全流程结肠镜视频中可扩展密集病变标注的智能工作流
机构 * King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹科学与技术大学）
专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV
AI总结 提出Colon-Bench，通过多阶段智能工作流实现全流程结肠镜视频的密集病变标注，包含528个视频、14类病变、30万+边界框等，并评估多模态大模型在病变分类、开放词汇视频目标分割和视频视觉问答上的性能。
Comments published at MICCAI 2026
视觉问题：将照片、信息图和数据可视化的美学吸引力和制作质量与社交媒体帖子的可信度联系起来
专题命中 其他多模态 ：multimodal(abstract)
AI总结 本研究基于处理流畅性理论，通过实验比较照片、信息图、数据可视化和纯文本帖子，发现视觉帖子（尤其是照片和信息图）比纯文本帖子更可信，美学吸引力通过处理流畅性部分中介提升可信度，而制作质量无显著影响。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈