AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
通过证据学习实现不确定性感知的跨模态遥感图像-文本检索
专题命中 图文多模态 ：cross-modal(title,abstract)；image-text(title,abstract)
AI总结 针对跨模态遥感图像-文本检索中测试条件非理想、现有方法检索结果不可靠的问题，提出基于证据学习的ELC方法，通过EDL、UCL、RL建模及优化，经实验验证该方法相比现有方法有竞争力且鲁棒性更强。
模态相关性并非模态效用：用于成本感知多模态RAG的事后选择性模态升级
机构 * Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京航空航天大学）
专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 研究多模态检索增强生成中模态选择决策点问题，提出事后选择性模态升级方法，先低成本从文本和表格回答，再按需支付VLM证据费用，校准路由器决定是否升级，在MultiModalQA上减少视觉调用并缩小与神谕升级率差距，扩展了路由信号层次结构。
花瓶博物馆：古希腊陶器数字智能博物馆
机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Huazhong University of Science and Technology（华中科技大学） ； Department of Computer Science and Information Technology, La Trobe University（拉筹伯大学计算机科学与信息技术系） ； UCAS-Terminus AI Lab, University of Chinese Academy of Sciences（中国科学院大学UCAS-Terminus人工智能实验室）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 针对古希腊陶器文化遗产领域中视觉语言模型面临的挑战，提出轻量级模块化多模态智能体框架花瓶博物馆，结合虚拟博物馆与花瓶智能体，经多模态感知等操作，提高引用有效性，减少幻觉并产生更中立答案。
Comments Code: https://github.com/AIGeeksGroup/VaseMuseum. Website: https://aigeeksgroup.github.io/VaseMuseum
基于LoRA的跨上下文视觉语言适配用于临床伤口监测中的个性化严重不良事件检测
机构 * San Diego State University（圣地亚哥州立大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） ； University of California, Davis（加利福尼亚大学戴维斯分校）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对临床伤口监测中严重不良事件检测问题，提出基于双流LoRA框架及跨上下文融合机制的多模态框架，结合多种方法识别个性化严重不良事件并捕捉愈合动态，在相关实验中展现良好性能。
我关心的音乐：对（几乎）任何音乐的大语言模型音乐感知技能进行自动化多模态基准测试
机构 * Charles University（查尔斯大学） ； Brno University of Technology（布拉格技术大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 针对当前音乐基准测试的局限，引入MusICA-MetaBench框架，利用结构化符号表示和预定义模板生成按需基准测试，通过ChoraleBricks数据集展示并确定规模，经与基线比较证明能测音乐感知，推动了大语言模型音乐感知跨模态评估。
Comments 9 pages, 4 figures, 4 tables
LEGATO 2：迈向多模态乐谱识别与理解
机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·艾伦计算机科学与工程学院，华盛顿大学）
专题命中 音频语音多模态 ：multimodal(title)；分类 cs.CV、cs.AI
AI总结 LEGATO 2提出从乐谱图像提取符号与语义知识的新流程，结合系统级分割和自回归视觉语言模型，能生成含文本的符号转录，在多数据集上优于现有技术，还能补充语言模型视觉输入，提升乐谱理解水平。
Comments 23 pages. Equal contribution: Guang Yang and Brian Siyuan Zheng
不退化文本智能的统一音频智能
机构 * Nemotron-Labs（Nemotron实验室）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI、eess.AS
AI总结 本文提出统一音频-文本大语言模型Audex，通过单Transformer解码器架构与多阶段训练，在实现多音频任务SOTA性能的同时，几乎不损失骨干文本LLM的原有文本智能能力。
Comments We release the Audex models at https://huggingface.co/collections/nvidia/nemotron-labs-audex
说什么？审视计算教育中基于提示的编程的文本和语音输入方式
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 探索编程入门学生用文本或语音输入解决提示问题的情况，发现输入文本提示的学生更易首次尝试成功，多数学生偏好文本，定性分析揭示学生对两种输入方式的看法及优缺点，为计算教育多模态工具和教学设计提供启示。
Comments ITiCSE'26 paper
通过语义检索和时间重排实现多模态视频到音乐推荐
机构 * Graduate School of Culture Technology, KAIST（韩国釜山科学技术大学文化科技研究生院） ； Gaudio Lab, Inc（Gaudio实验室）
专题命中 视频多模态 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.MM
AI总结 提出用于视频到音乐推荐的两阶段框架VTMR，第一阶段通过全局嵌入检索语义兼容候选，第二阶段关注时间序列重排。实验显示该框架能提升推荐效果，人类偏好研究表明其在总体偏好上与商业基线相当，音乐质量优于生成基线。
Comments Accepted for publication at The Machine Learning for Audio workshop at ICML 2026
通过多尺度卷积和动态路由实现下一代网络的语义视频通信
机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院） ； Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成人工智能创新中心） ； Amazon（亚马逊）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 针对视频流量增长需求，提出语义视频通信框架，用多尺度时间卷积编码器捕捉运动模式，基于胶囊的动态路由机制优化关联，多任务学习统一组件，在实验中取得显著改进。
Comments Accepted at the AAAI 2026 Workshop on AI for Time Series (AI4TS)
SparseCtrl-HOI：用于人机交互视频生成的稀疏时间控制
机构 * South China University of Technology（华南理工大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 研究针对人机交互视频生成中建模物理动力学及时空协调复杂、现有方法依赖密集指导成本高且影响多样性的问题，提出SparseCtrl-HOI框架，用关键帧结合新机制和模块控制，构建数据集，降低标注开销，提升直播电商视频质量。
Comments ECCV 2026, Project Page: https://mpi-lab.github.io/SparseCtrl-HOI
通过行为和语言模式对信息操作用户进行无监督异常检测
机构 * RMIT University（皇家墨尔本理工大学） ； Macquarie University（麦考瑞大学）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 研究针对社交媒体网络信息操作检测难题，提出无监督方法TENSOR，利用多模态数据，通过训练时间点过程捕捉异常行为模式，并引入新证据函数调整输出，在五个真实数据集上表现优于基线。
Comments Accepted at ECML/PKDD 2026
有限非平衡系统中超越刘维尔间隙的相干性估计
专题命中 视频多模态 ：multimodal(abstract)
AI总结 研究有限量子系统与热库相互作用时热库诱导相干性的估计，通过分析刘维尔本征谱证明最优传感窗口源于模式竞争，刘维尔间隙倒数与最优传感时间无一般缩放关系，耦合系统到量子腔可转变为稳态资源。
Comments Suggestions on references are welcome along with other suggestions or comments
CMDR：上下文多模态文档检索
机构 * Human Informatics Labs.（人文信息实验室） ； NTT, Inc.（日本NTT公司）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 研究多模态文档检索，提出CMDR-Embed框架联合编码页面纳入文档上下文，引入CMCL对比学习目标训练，实验证明该框架显著优于非上下文嵌入，凸显上下文感知多模态嵌入对文档检索的重要性。
Comments Accepted by ECCV 2026; project page: https://cmdr-bench.github.io/
通过优势加权排序揭示二元抑郁检测中的潜在抑郁严重程度
机构 * South China Normal University（华南师范大学）
专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.AI
AI总结 研究利用视听数据检测抑郁的挑战，提出含时间编码器和相互变压器的多模态框架，核心是二元优势加权排序损失，通过两种机制优化潜在空间分布，实验表明该模型重建潜在有序结构，性能达最优。
图像无法表达的：语言引导的嗅觉表征学习
机构 * LIX, École Polytechnique, IP Paris, CNRS（LIX，巴黎高等理工学院，IP巴黎，CNRS）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究图像与嗅觉对齐难题，提出SCENT多模态框架，利用视觉语言模型生成场景描述符，训练气味编码器，通过语言引导潜在分解分离特定对象气味与环境贡献，提升跨模态检索性能，产生可解释表征。
Comments ECCV 2026. Project page: https://www.lix.polytechnique.fr/vista/projects/2026_scent_tsonis/
Canopy：用于代谢工程的异构图基础模型
机构 * an in-house laboratory information management system (LIMS)（一个内部实验室信息管理系统（LIMS））
专题命中 跨模态检索 ：multi-modal(abstract)
AI总结 代谢工程中设计高产微生物菌株有挑战，Canopy异构图基础模型集成多数据源成知识图谱，用特定模型编码特征，经自监督目标预训练，在发酵滴度预测任务中表现优于基线。
Comments Accepted at ICML GenBio Workshop 2026 https://openreview.net/forum?id=H8bvgKoT7j
统一多模态模型中理解与生成之间的可迁移性
机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Blynx（布林克斯公司） ； Trillionlabs（万亿实验室）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 研究统一多模态模型中理解与生成任务间的可迁移性，通过实验发现其依赖架构，据此提出实用训练策略，训练对应理解任务迁移至生成可提升性能并减少分布偏移。
Comments Accepted at ECCV 2026. Project Page: https://cvlab-kaist.github.io/UMM_Transferability/
视觉作为统一的多模态生成
机构 * SenseTime Research（商汤科技研究院） ； Nanyang Technological University（南洋理工大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 该研究将计算机视觉表述为统一多模态生成，SenseNova-Vision用自然语言指令等指定任务并生成多种输出。通过转换注释形成语料库训练模型，其涵盖多种视觉任务，实验显示统一模型能匹配专用系统，为集成视觉能力到通用模型提供可扩展途径。
Comments 48 pages,22 figures
REVIVE：一种用于自动驾驶车辆中破坏行为检测与恢复的多模态框架
机构 * University of the Pacific（太平洋大学）
专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV
AI总结 研究自动驾驶车辆中破坏行为导致的遮挡攻击问题，提出REVIVE多模态框架，集成多种检测与恢复方法，如二进制VOA检测、多类VOA模式识别等，实验表明该框架能有效恢复图像，提升目标检测指标，提供结构化恢复方案。
ELSA3D：用于统一3D理解与生成的弹性语义锚定
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究统一3D基础模型文本-3D交互隐式问题，提出ELSA3D模型，通过弹性语义锚定联合构建语言和几何推理，用尺度感知八叉树令牌化器和锚定令牌表示几何，轻量级路由器使计算和推理弹性化，性能领先且减少计算量和延迟。
代理分析：作为条件编码器的视觉语言模型中的定位信号
机构 * Tel Aviv University, Tel Aviv, Israel（特拉维夫大学） ； Google DeepMind（谷歌DeepMind）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究视觉语言模型（VLMs）作条件编码器时编辑管道定位性能差的问题，引入代理分析框架，通过训练代理模型分析VLM中间表示来揭示编码定位信息的表示，发现现有条件提取策略缺陷，为条件架构设计提供新思路。
Comments Accepted as a Spotlight at the ICML 2026 Mechanistic Interpretability Workshop
用于不完整多视图聚类的直线路径流匹配
机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学） ； University of Auckland（奥克兰大学） ； University of New South Wales（新南威尔士大学） ； Communication University of China（中国通信大学）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV
AI总结 研究不完整多视图聚类问题，提出基于直线路径流匹配的框架，通过线性插值路径用概率流替代扩散，集成视图完成与聚类对齐，实验证明该框架在标准基准上达最优性能。
Comments Accepted to ECCV 2026. 28 pages, 6 figures, 4 tables
Aura：通过基于VLM的语义对齐实现一致的多主体视频生成
机构 * Tencent Hunyuan（腾讯混元）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出Aura框架用于高保真和身份一致的视频生成，引入AI导演级字幕、利用VLM提取多模态语义特征，设计对齐策略，采用多种机制减少伪影，在多主体视频生成上达先进性能。
Comments Project page: https://aura-project-page.github.io/ Code: https://github.com/Camellia997/Aura
用于流策略引导和加速的最优传输Q学习
机构 * University of Edinburgh（爱丁堡大学） ； Honda Research Institute Europe（本田欧洲研究院）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 针对流策略性能优化难题，提出最优传输Q学习（OTQL），利用机器人经验，通过优势加权条件最优传输流匹配微调加速流策略，提升单任务和VLA策略成功率，减少推理步骤数。
Pluralis v0.1：迈向用于人工智能风险与可靠性的多元文化、多模态、多语言基准测试
机构 * Google DeepMind（谷歌DeepMind） ； University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校） ； Google（谷歌） ； University of Missouri Columbia（密苏里大学哥伦比亚分校） ； Chunghwa Telecom Laboratories（春木电信实验室） ； University of Southern California（南加州大学） ； Polytechnique Montreal（蒙特利尔理工学院） ； Nutanix ； ThinkEvolve Labs（ThinkEvolve实验室） ； UCL（伦敦大学学院） ； Infocomm Media Development Authority（信息通信媒体发展局） ； Monark Health（Monark健康） ； Seoul National University（首尔国立大学） ； Microsoft（微软） ； Centre for Responsible AI (CeRAI), Wadhwani School of Data Science and AI (WSAI), Indian Institute of Technology Madras（负责任人工智能中心（CeRAI）、瓦达威人工智能学校（WSAI）、印度理工学院马德拉斯分校） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； Microsoft Research India（微软印度研究院） ； Stanford University（斯坦福大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Oxford（牛津大学） ； KAIST（韩国科学技术院） ； Yonsei University（延世大学） ； Amazon（亚马逊） ； UIUC（伊利诺伊大学香槟分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Xenoscube Inc.（Xenoscube公司） ； Korea AI Safety Institute (K-AISI)（韩国人工智能安全研究所（K-AISI）） ； MLCommons ； CommonGround ； Artifex Labs（Artifex实验室）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL
AI总结 研究针对现有AI安全评估框架忽视文化差异问题，构建多语言多模态数据集Pluralis v0.1，从文化优先视角引入新评估范式，提出Judge - Pluralis集成，揭示特定地区失败模式，为多语言多元文化评估提供基础和创新起点。
OmniLayout：用于印刷电路板布局中约束感知几何推理的原理图耦合多模态基准测试
机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft Research（微软研究院） ； Binghamton University（宾汉姆顿大学）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV
AI总结 介绍OmniLayout基准测试，用于评估大语言模型在印刷电路板布局放置推理。含1681个工业级原理图耦合PCB布局及四项任务，揭示当前大语言模型在PCB布局放置上有诸多局限。
ProvICS：一种基于溯源的工业控制系统入侵检测方法
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)
AI总结 针对工业控制系统因信息技术与运营技术融合面临多阶段网络攻击，且基于溯源的入侵检测系统在工业网络物理系统中适用性待探索的问题，提出ProvICS多模态溯源数据集，经实验验证其能有效检测攻击事件，填补现有基准空白。
BaFCo：用于复杂孟加拉语表格理解的文档理解基准
机构 * Wichita State University（威奇托州立大学） ； Center for Computational & Data Sciences（计算与数据科学中心） ； University of Dhaka（达卡大学） ； Amazon GenAI（亚马逊生成式人工智能）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 针对孟加拉语表格理解因高质量标注数据稀缺受限的问题，引入BaFCo基准数据集，涵盖多领域复杂表格。定义细粒度标注模式，评估多种MLLMs，发现其理解孟加拉语表格有局限，尤其在定位细粒度实体方面。
Comments Accepted at the 19th European Conference on Computer Vision (ECCV), 2026
哈里森.Rad 1.5技术报告：一种可根据图像、先验知识和临床背景起草报告的放射学基础模型
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 研究针对放射科报告积压问题，提出HR1.5多模态大语言模型，通过三阶段训练，用特定评分框架评估，该模型是唯一达模拟FRCR及格标准的系统，在多方面准确率最高，还研究了可解释性等以支持临床应用评估。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈