AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
CFPO：用于多模态推理的反事实策略优化
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL
AI总结 提出反事实策略优化框架，通过跨模态反事实增强机制强制视觉与文本推理的因果一致性，显著提升多模态推理的准确性。
Comments Accepted to ICML 2026. 17 pages
T-IMPACT：面向上下文图像-文本操纵的严重性感知基准
机构 * The University of Queensland（昆士兰大学）
专题命中 图文多模态 ：image-text(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出T-IMPACT基准，包含98,786个图像-文本对，涵盖原始、仅图像、仅文本和联合操纵，通过校准的连续严重性分数和粗粒度标签评估操纵对上下文理解的影响，实验表明现有模型在严重性预测上仍远弱于人类判断。
Comments 7 pages, 2 figures
通过稀疏自编码器提取和分析视觉语言模型中的多模态概念
机构 * Knowledge Technology, Department of Informatics, University of Hamburg（汉堡大学信息学系知识技术实验室）
专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出基于稀疏自编码器的框架，从视觉语言模型中提取视觉、文本和多模态概念，通过余弦相似度评估概念与样本的对齐，在VQA数据集上提升视觉概念质量达45%。
Comments International Conference on Artificial Neural Networks (ICANN), 2026, Padua
SciLens: 多模态科学声明验证的智能蕴含与归因框架
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Baptist University（香港浸会大学） ； NVIDIA AI Technology Center（英伟达人工智能技术中心）
专题命中 图文多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL
AI总结 提出SciLens框架，通过将声明分解为原子命题并归因到表格/图表证据，实现多模态科学声明验证，在SciClaimEval上达到79.2%宏F1和63.1%配对准确率。
Comments KDD 2026 SciSoc Agents & LLMs (Oral)
多模态图像着色：量化文本条件引导对灰度到彩色转换的影响
机构 * Department of Computer Science and Software Engineering（计算机科学与软件工程系）
专题命中 图文多模态 ：multimodal(title)；分类 cs.CV、cs.CL
AI总结 本文通过U-Net和Stable Diffusion 1.5两种架构，量化了CLIP文本条件对灰度图像着色质量的影响，发现文本条件显著提升了PSNR、SSIM和色彩度，降低了LPIPS。
MAPS: 多锚点投影相似性用于联合视觉-语言地理定位
机构 * School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）
专题命中 图文多模态 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV
AI总结 提出多锚点投影相似性（MAPS）度量，将联合图像-文本查询的地理定位建模为多锚点几何对齐问题，通过目标特征在查询锚平面上的投影长度衡量相似性，并引入基于MAPS的对比损失，实现最先进性能。
MEDLAYXPLAIN: 医学视觉语言模型中的专家-外行差距基准测试
机构 * Seoul National University（首尔大学） ； Seoul National University Hospital（首尔大学医院） ； Seoul National University College of Medicine（首尔大学医学院） ； Sungkyunkwan University School of Medicine（成均馆大学医学院）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出首个大规模医学外行语言生成基准MedLayXPlain，包含12万+区域级样本和三层UMLS本体，通过HOVER管道构建外行描述，并引入轻量级评估器MedLayEval，揭示当前医学VLM在外行可读性与临床精度间的系统性差距。
Comments 40 pages (10 pages main text, 30 pages appendix), 4 main figures, 33 vision-language models benchmarked
胸部X光片的视觉-语言模型并不总是需要图像
机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学模式识别实验室） ； Department of Diagnostic and Interventional Radiology, TUM University Clinic, School of Medicine and Health, Klinikum rechts der Isar, Technical University of Munich（慕尼黑工业大学医学院与健康学院伊萨尔河右岸医院诊断与介入放射学系） ； Lab for AI in Medicine, RWTH Aachen University（亚琛工业大学医学人工智能实验室） ； Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen（亚琛工业大学医院诊断与介入放射学系）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文通过因果审计方法，发现许多医学视觉-语言模型在胸部X光片任务中依赖文本先验而非图像，纯文本模型与多模态模型性能接近，并提出了基于图像依赖性的评估框架。
在视觉-语言-动作模型中解耦声明性知识与程序性知识
机构 * University of Edinburgh（爱丁堡大学） ； UCL（伦敦大学学院） ； Samsung AI Center - Cambridge, UK（三星人工智能中心 - 英国剑桥）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对现有VLA模型无法解耦声明性与程序性知识导致零样本技能迁移脆弱的问题，提出w$^{2}$VLA模型，通过重构信息流实现模块化、可解释的知识解耦，显著提升对未见物体的零样本技能迁移能力。
MIRCaps: 一个大规模混合域数据集，包含图像级和区域级描述，用于细粒度视觉-语言学习
机构 * Changwon National University（昌原国立大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 为解决通用与监控视频领域的混合域图像-描述数据集匮乏问题，构建了包含14万图像、98万图像级描述、174万区域级描述和139万边界框的大规模数据集，通过互补描述类型帮助视觉语言模型学习细粒度视觉属性，并在图像描述和目标检测任务上验证了有效性。
面向放射学的空间定位2D视觉-语言模型的可扩展训练
机构 * Computer Vision Group, University of Freiburg, Germany（德国弗莱堡大学计算机视觉组） ； Department of Radiology, Medical Center -- University of Freiburg, Germany（德国弗莱堡大学医学中心放射科） ； CRIION-AI Lab, Freiburg, Germany（德国弗莱堡CRIION-AI实验室）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL
AI总结 提出RefRad2D大规模双语数据集，通过LLM和自动分割生成空间定位数据，训练RadGrounder模型联合完成报告生成、VQA和空间定位，在外部基准上取得竞争性结果。
Comments Accepted for MICCAI 2026. First two authors: equal contribution. Last two authors: equal supervision
揭开LAION-5B的面纱：大规模图像数据集中的年龄、性别、种族和情感偏见
机构 * Institute of Smart Cities (ISC), Department of Statistics, Computer Science and Mathematics（智能城市研究所（ISC），统计、计算机科学与数学系）
专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV
AI总结 本研究利用FairFace、DeepFace和Emo-AffectNet模型分析LAION-5B数据集中的年龄、性别、种族和情感偏见，发现年轻白人男性过度代表，少数族裔和中老年女性不足，以及情感与人口属性的刻板关联。
Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil
4DVLT：以世界线为中心的视觉-语言跟踪动态场景理解
机构 * Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 提出世界线为中心的4D动态场景理解任务4DVLT及基准Instruct-4D，通过图条件世界线推理方法4DTrack实现指令跟踪，在指标上超越基线19.62点。
GTA-Net：合作博弈论在胸部X光报告生成中的视觉-语言对齐
机构 * Department of Computer Science, Rhineland-Palatinate Technical University of Kaiserslautern-Landau（莱茵兰-普法尔茨凯泽斯劳滕-兰道工业大学计算机科学系） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； IntelligentX GmbH
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV
AI总结 提出GTA-Net，利用合作博弈论实现图像区域与文本的显式对齐，通过二元和三元对齐器提升胸部X光报告生成的临床一致性。
CogniRoute: 在全模态模型中学习路由社会证据
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； Google（谷歌）
专题命中 音频语音多模态 ：omni-modal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 提出CogniRoute框架，通过模式引导的专家混合和路由感知强化学习，解决全模态模型在社会视频问答中证据选择不足的问题，在OmniSocialBench上准确率达59.38%。
注意力谱正则化：无回放的连续多模态大语言模型
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Renmin University of China（中国人民大学） ； Tsinghua University（清华大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 提出注意力谱正则化（ASR），一种无回放的连续学习框架，通过存储技能级交叉注意力原型分布并施加谱正则化约束，有效缓解多模态大语言模型在连续微调中的灾难性遗忘。
MuVAP: 面向野外对话轮次预测的多模态多方语音活动投影
机构 * Department of Speech Music and Hearing, KTH Stockholm, Sweden（瑞典皇家理工学院言语、音乐与听觉系）
专题命中 音频语音多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.AI
AI总结 提出MuVAP框架，通过将声学预测锚定到面部轨迹，实现从单声道音频和单摄像头视角进行说话人感知的轮次预测，并引入角色相对投影和AVCC数据集解决多方建模和因果跟踪问题。
面向准确鲁棒的监控路边IVD：基于轨迹化的视听推理
机构 * Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院） ； Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所） ； Department of Electrical and Computer Engineering, University of Utah（犹他大学电气与计算机工程系）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS
AI总结 提出TAVR-IVD框架，通过多目标跟踪将车辆检测链接为轨迹，基于轨迹进行视听融合分类，提升信噪比、稳定时间决策、对齐车辆与麦克风空间先验，并在跨域场景下保持高效鲁棒。
LiveServe：面向实时全模态大语言模型的交互感知服务系统
专题命中 音频语音多模态 ：omni-modal(title,abstract)
AI总结 提出交互感知服务系统LiveServe，通过感知播放进度、语音活动和打断事件，优化调度与KV缓存管理，降低音频延迟并提升吞吐量。
弥合年龄差距：面向检测神经音频编解码器合成的老年语音深度伪造
机构 * BIIC Lab, NTHU, Taiwan（国立台湾大学BIIC实验室） ； UPES, India（印度UPES大学） ； VBSPU, India（印度VBSPU大学）
专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 eess.AS
AI总结 提出老年语音编解码伪造检测（ECFD）任务，发布中英文ECF数据集，发现现有检测器泛化差，利用多模态基础模型融合（BONSAI框架）实现1.66%平均等错误率，建立新基准。
Comments Accepted to INTERSPEECH 2026
READ：超越所见——基于强化学习的准确连贯音频描述生成
机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc（百度公司） ； Tsinghua University（清华大学）
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 提出首个基于强化学习的音频描述生成框架READ，通过序列级优化和连贯性奖励，显著提升生成准确性与连贯性。
从分散的医疗音频中解锁音频-语言模型的上下文学习
机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Erasmus MC（伊拉斯姆斯医学中心） ； Rijnstate Hospital（莱茵州医院）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 提出联邦自上下文学习（FSC）框架，通过无监督聚类构建伪标签片段，结合渐进式三阶段流水线，在联邦医院客户端实现少样本临床音频诊断，准确率达71.6%。
面向开放集说话人属性预测的关键词附加大语言模型嵌入
机构 * Department of Intelligence and Information, Seoul National University（首尔大学情报信息学系） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（首尔大学人工智能跨学科项目） ； Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究所）
专题命中 音频语音多模态 ：cross-modal(abstract)
AI总结 提出利用大语言模型嵌入进行开放集说话人属性预测，通过关键词附加策略和top-k负损失，在LibriTTS-P上超越闭集基准并泛化到未见同义词。
Comments This paper has been accepted to Interspeech 2026
ISCSLP 2026 CoT-TTS挑战赛：面向上下文感知文本转语音的思维链推理
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； China Mobile（中国移动） ； Jiutian Artificial Intelligence Technology (Beijing) Co., Ltd., China Mobile（九天人工智能技术（北京）有限公司，中国移动） ； China Mobile (Hong Kong) Innovation Research Institute（中国移动（香港）创新研究院） ； Nanjing University（南京大学）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 针对现有可控TTS系统难以自动推断复杂对话场景中说话方式的问题，提出CoT-TTS挑战赛，要求系统从上下文推断说话方式并生成语音，包含文本和音频两个赛道，采用思维链推理和语音波形输出。
Comments 11 pages, ISCSLP 2026 challenge proposal
Kamera: 统一的位置无关多模态KV缓存，用于免训练复用
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 提出Kamera，一种免训练的位置无关KV缓存复用方法，通过低秩条件补丁修复跨块绑定丢失，在MM-NIAH和文档QA上恢复完整精度，显著降低多模态代理的重计算开销。
无需发送视频即可识谎：隐私保护的多模态欺骗检测
机构 * University of California, San Diego（加州大学圣迭戈分校） ； Case Western Reserve University, Ohio（凯斯西储大学） ； WhissleAI, USA（WhissleAI（美国））
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM
AI总结 提出Whissle方法，通过设备端提取文本、情感、行为等紧凑摘要，在无需传输原始视频的情况下实现与云端模型相当的欺骗检测性能（AUC 0.741），并揭示先前75%准确率存在说话者泄露问题。
视频语言模型何时停止观看？多模态RLVR中视觉捷径的形成与逆转受奖励强度控制
机构 * Zekun Xu（徐泽坤）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究多模态强化学习中视觉捷径的形成与逆转机制，发现惩罚强度可控制其出现和消除，且存在关键干预窗口。
Comments 11 pages, 4 figures
机器人辅助手术中的实时多模态活动感知错误检测
机构 * University of Virginia（弗吉尼亚大学）
专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出统一框架，利用视频、运动学数据和文本提示等多模态输入，通过活动提示和活动感知视觉嵌入，在JIGSAWS和SAR-RARP50数据集上分别提升F1分数达5%和16.6%。
Comments This work has been submitted to the IEEE for possible publication
VideoLatent: 通过潜在自强制进行视频-语言学习
机构 * The Chinese University of Hong Kong（香港中文大学） ； Weitu AI（微图AI）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出VideoLatent，一种通过潜在自强制训练范式（包括潜在对齐和潜在多样性目标）进行视觉潜在推理的多模态大语言模型，仅依赖标准视频-问答三元组，在14个基准上优于现有模型，并大幅降低训练/推理开销。
超越时间序列：基于多模态学习的空间推理用于流行病预测
机构 * University of Michigan（密歇根大学）
专题命中 视频多模态 ：multimodal(title,abstract)
AI总结 提出M-SPICE框架，通过注意力机制融合区域级时序数据与空间辅助信号，在COVID-19、流感和ILI预测任务上超越现有基线。
Comments To appear in the Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026), AI for Science Track
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈