AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
基于知识的分层多模态检索用于新闻图像描述生成
机构 * University of Science, VNU-HCM（越南国立大学胡志明市分校理学院） ； Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市分校）
专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 提出分层多模态文章检索增强的图像描述框架，通过结构感知检索和上下文精炼，结合VLM和LLM生成富含上下文细节的描述，在EVENTA 2025挑战赛中获得第5名。
Comments SOICT 2025
CaVe-VLM-CoT：一种可解释的视觉-语言模型框架
机构 * Vector Institute（向量研究所）
专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI
AI总结 提出CaVe-VLM-CoT框架，通过五阶段闭环流水线（提取器、检索器、求解器、引用注入器、验证器）实现证据推理，并引入CaVeScore复合指标评估检索质量、引用忠实度和跨模态基础，在ScienceQA和MMMU上取得性能提升。
NAVI-Orbital：用于自主地球观测的零样本视觉语言模型的首次在轨演示
机构 * NASA Jet Propulsion Laboratory (JPL)（美国宇航局喷气推进实验室） ； Loft Orbital（Loft Orbital公司）
专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI
AI总结 本文介绍NAVI-Orbital系统，在低地球轨道卫星上首次实现视觉语言模型的自主多模态推理，通过语义压缩解决数据下传瓶颈。
Comments 17 pages, 47 figures
神经元能说话吗？单细胞分辨率的视觉语义叙述
专题命中 图文多模态 ：multimodal(abstract)
AI总结 提出NEURRATOR框架，通过将神经元活动解码为自然语言描述，实现单细胞分辨率的视觉语义叙述，并用于量化解码保真度及解析单个神经元和特定细胞类型的功能贡献。
OmniVideo-100K：通过结构化脚本和证据链进行音视频推理的数据集
机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所）
专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 提出OmniVideo-100K数据集，通过实体锚定视频脚本和线索引导的QA生成机制，解决音视频问答中跨段实体不一致和长时推理不足的问题，微调模型在多个基准上取得显著提升。
Comments Project page: https://github.com/MiG-NJU/OmniVideo-100K
ThinkDeception: 一种用于可解释多模态欺骗检测的渐进式强化学习框架
机构 * Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出ThinkDeception框架，将多模态大语言模型引入欺骗检测，通过逐步推理和视觉-音频一致性组相对策略优化（VAC-GRPO）实现可解释的认知推理，在主流基准上达到新SOTA。
Comments 10pages,4figures
学习鲁棒的成对置信度用于多模态情感-原因对提取
机构 * Institute for Advanced Studies（先进研究院） ； Universiti Malaya（马来大学） ； School of Information Engineering（信息工程学院） ； Suqian University（宿州学院） ； Digitization Department（数字化部门）
专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出RPCL框架，通过置信度差异边界约束和对抗性扰动，增强多模态情感-原因对提取中成对置信度的判别性和稳定性，在三个数据集上提升Pair F1约2.6-2.8个百分点。
Comments 11 pages, 3 figures, 5 tables
通过去学习实现公平的认知障碍检测
机构 * University of Massachusetts Lowell, USA（马萨诸塞大学洛厄尔分校）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 提出一种多模态框架，结合跨模态融合和梯度反转去学习，减少人口统计信息对轻度认知障碍检测的偏见，在跨语言数据集上缩小性能差距。
Comments Interspeech 2026
当相同的音乐知识以不同方式遗忘：路径依赖遗忘的干净探测
机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； School of Cyber Security, UCAS（中国科学院大学网络空间安全学院） ； The University of Western Australia（西澳大利亚大学） ； Beihang University（北京航空航天大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS
AI总结 提出配对路径控制协议（PPCP），发现多模态模型中通过文本路径获取的知识比音频路径更易遗忘，且该效应不受架构深度影响，主要源于输入表示差异。
EMORSION：检验音频参数对电影中情感反应和沉浸感的影响
机构 * Queen Mary University of London（伦敦大学女王学院）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 通过操纵频率、动态和方向性三个音频参数，研究电影音频设计对观众情感和沉浸感的影响，发现细微变化可改变情感感知，非常规混音增加解读变异性。
Comments AES Europe 2026
使用普适环境感知信息进行ICU谵妄风险分层
机构 * Department of Electrical and Computer Engineering, University of Florida, Gainesville, United States（佛罗里达大学电气与计算机工程系） ； Department of Medicine, Stanford University, Stanford, United States（斯坦福大学医学系） ； Department of Biomedical Engineering, University of Florida, Gainesville, United States（佛罗里达大学生物医学工程系） ； Department of Medicine, University of Florida, Gainesville, United States（佛罗里达大学医学系）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 本研究利用环境声音和光照强度数据，通过高效序列神经网络模型预测ICU患者谵妄风险，发现声音是主要预测因子，结合光照可改善短期预测，AUC达0.80。
谁赢得冲突？音频大模型中文本偏差的机制可解释性
机构 * School of Electrical Engineering, KAIST（韩国科学技术院电子工程学院）
专题命中 音频语音多模态 ：multimodal(abstract)
AI总结 本文通过机制分析揭示音频大模型中的文本主导偏差，发现文本路径主动抑制完整音频表征，并提出无训练干预方法back-patching以增强音频表征，缓解文本主导。
Comments Preprint
推理即交集：视频多模态大语言模型中视觉焦点的一致性帧对齐
机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Cloud and AI BU, Huawei（华为云与AI业务部） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院）
专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV
AI总结 提出无时间标注的过程级奖励框架CF-GRPO，通过视频内在线索构建一致性帧先验，并利用一致性帧奖励优化模型帧使用与先验的对齐，提升视频推理性能。
HT-Bench：基于自我中心视觉的灵巧全手触觉表示基准与学习
机构 * Beihang University（北航） ； Rimbot ； BUPT（北邮） ； ShanghaiTech University（上海科技大学） ； Tsinghua University（清华大学） ； CAS（中国科学院）
专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)
AI总结 提出HT-Bench多任务基准和HandTouch编码器，通过大规模自我中心视觉与全手触觉数据，在触觉相似性检索、掩码修复、视觉到触觉合成等任务上验证了触觉表示的有效性。
Comments 9pages, 4figures
SVHighlights: 迈向极长体育视频精彩片段检测
机构 * Ulsan National Institute of Science and Technology（釜山国立科学研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 针对现有方法无法处理超长视频精彩片段检测的问题，提出首个基准SVHighlights（包含320个平均时长2小时的体育视频）以及无训练的分段方法TF-SELECTOR，通过大语言模型融合多模态信息预测片段级显著性分数，在多个指标上超越现有基线。
Comments Accepted to KDD 2026 (Datasets and Benchmarks Track). Project Page: https://leedongkyu2019.github.io/SVHighlights/
DREAM: 通过双目标编码扩展视觉-语言模型用于跨模态检索
机构 * Sejong University（世宗大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Ulsan National Institute of Science and Technology（乌山国立科学研究院）
专题命中 跨模态检索 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 提出DREAM模型，通过双路径表示增强与对齐，结合层级视觉编码器和混合语言建模，在视频检索任务中实现新SOTA。
TactSpace: 学习富含物理信息的共享潜在空间以实现触觉模拟到现实的迁移
机构 * Robotic Systems Lab, ETH Zürich（瑞士苏黎世联邦理工学院机器人系统实验室） ； Micro- and Nanosystems Lab, ETH Zürich（瑞士苏黎世联邦理工学院微纳系统实验室） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） ； NVIDIA（NVIDIA公司）
专题命中 跨模态检索 ：multi-modal(abstract)
AI总结 提出多模态表示学习框架TactSpace，通过共享潜在空间对齐异构触觉模态，实现零样本模拟到现实迁移，在力预测和形状重建任务中分别降低误差16.7%和45.8%。
Comments 9 pages, 6 figures, 4 tables, accepted into IROS 2026
跨模态生物学语言模型的逻辑空间对比对齐
机构 * Biomedical Informatics and Data Science, Yale School of Medicine（耶鲁医学院生物医学信息学与数据科学）
专题命中 跨模态检索 ：cross-modal(abstract)
AI总结 提出LOGICA框架，在输出逻辑空间进行对比学习，通过门控跨模态适配器保留预训练似然接口，实现跨不同词汇表模型的上下文条件预测，在蛋白质-配体结合、TCR-肽活性和药物耐药性预测任务上超越现有方法。
分布式多模态大模型推理框架上的图像提示重建攻击
专题命中 多模态生成 ：MLLM(title,summary_cn)；multimodal(abstract,abstract_cn)
AI总结 研究分布式MLLM推理中中间嵌入泄露图像提示的风险，提出两种被动黑盒攻击方法MPAA和IEDA，实现像素级和语义级图像重建。
Qwen-RobotWorld技术报告：通过语言条件视频生成统一具身世界模型
机构 * Qwen Team（Qwen团队）
专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV
AI总结 提出Qwen-RobotWorld，一种以自然语言为统一动作接口的语言条件视频世界模型，通过双流MMDiT、大规模具身世界知识语料和渐进式课程训练，在机器人操作、自动驾驶等任务中实现物理一致的未来视觉轨迹预测，在多个基准上取得最优结果。
桥接创意意图与视觉质量：基于创作者驱动的循环视频生成与代理反馈循环
机构 * University of California, Davis（加州大学戴维斯分校） ； The Harker School（哈克学校） ； Basis Independent Silicon Valley（硅谷贝斯独立学校） ； Saratoga High（萨拉托加高中）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出CHIEF框架，通过人类-AI协作的迭代视频精炼，结合创作者驱动和代理主观反馈，提升长视频的叙事连贯性与创意方向。
Comments Accepted to the Workshop on Human-AI Co-Creativity at ICML 2026
超越当前观测：评估多模态大语言模型在可控非马尔可夫博弈中的表现
机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.CV
AI总结 提出RNG-Bench基准套件，通过配对记忆和3D迷宫两个博弈，评估多模态大模型在非马尔可夫环境中重建历史观测并据此行动的能力，发现主要错误源于遗忘而非决策，微调可提升性能。
ChronoSurv：一种临床路径引导的多模态生存分析图框架
机构 * Université Paris-Saclay, CentraleSupélec, MICS, France（巴黎萨克雷大学，中央超算学院，MICS，法国） ； University of Lyon, INSA Lyon, CREATIS, France（里昂大学，里昂国家理工学院，CREATIS，法国）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 提出ChronoSurv，一种基于有向图的多模态生存分析框架，通过层次化拓扑和异质消息传递建模临床轨迹，在头颈癌数据集上取得最优判别性能与可靠校准。
Comments Accepted at MICCAI 2026. Submitted version due to embargo
当提示误导：多模态大语言模型中的文本主导与诊断偏差
专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)
AI总结 研究揭示在医学多模态大语言模型中，文本提示会主导视觉线索，导致诊断偏差，即使模型具备空间定位能力，提示策略仍可能不安全。
Comments Accepted to the CVPR 2026 MMFM-BIOMED Workshop
传感器配置至关重要：四足机器人多模态SLAM的系统评估
机构 * Machine Intelligence and Robotics Lab, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院智能机器人实验室） ； Institute for Intelligent Systems, Esslingen University of Applied Sciences（埃森堡应用科学大学智能系统研究所） ； Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV
AI总结 针对四足机器人运动中的传感器配置问题，系统评估了视觉、视觉-惯性和LiDAR-视觉-惯性SLAM方法，发现立体相机、全局快门和适当惯性集成能显著提升定位鲁棒性。
ProductConsistency：通过SFT和RL改进基于指令的图像编辑中的产品身份保持
机构 * Fractal Analytics
专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 针对基于指令的图像编辑中产品特征保持不足的问题，提出ProductConsistency数据集和循环一致性奖励，结合监督微调与强化学习，显著提升产品一致性、文本渲染和视觉质量。
Comments CVPR HiGen 2026
大规模视觉-语言模型在细粒度图像任务上的基准测试：从评估到诊断
机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院，中国） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Engineering, School of Intelligence Science and Engineering, and Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Southeast University, China（东南大学计算机科学与工程学院、智能科学与工程学院以及新一代人工智能技术及其交叉应用关键实验室，中国） ； Wangxuan Institute of Computer Technology, National Key Laboratory for Multimedia Information Processing, Peking University, China（北京大学王轩计算机技术研究所、多媒体信息处理国家重点实验室，中国） ； University of Copenhagen, Denmark（丹麦哥本哈根大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出FG-BMK基准，含101万问题和28万图像，通过人机双范式评估LVLM的细粒度语义识别与视觉判别能力，诊断失败原因，发现视觉表示、语义对齐等瓶颈。
人脸呈现攻击检测中的架构偏差：视觉Transformer与卷积神经网络的比较研究
机构 * College of Engineering, Carnegie Mellon University（卡内基梅隆大学工程学院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 通过比较ViT和CNN在人脸呈现攻击检测中的表现，发现预训练ViT（DeiT-S）在准确率、公平性和跨种族泛化上优于CNN，将种族间ACER差距降低83%。
Comments 8 Pages, 4 Figures, 5 Tables
Viking Hill数据集：用于森林场景检测与分割的激光雷达-雷达-相机数据集
机构 * Örebro University（奥雷布罗大学） ； AASS research centre（AASS研究中心） ； Robot Navigation and Perception Lab（机器人导航与感知实验室）
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 提出首个包含4D成像雷达的森林多传感器数据集，通过MinkowskiUNet实现雷达与激光雷达点云的语义分割，并评估树干分割质量与树木尺寸的关系。
Comments 33 pages, 11 figures
ROBOSHACKLES: 面向具身基础模型中人体伤害预防的安全数据集
机构 * Institute of Al for Industries, Chinese Academy of Sciences（工业人工智能研究所，中国科学院） ； University of Science and Technology of China（中国科学技术大学）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 为解决机器人伤害人类数据难以安全收集的问题，提出基于真实观测的安全数据构建流水线，生成包含1万条视频的ROBOSHACKLES数据集，涵盖直接和间接伤害类别，评估发现现有模型在安全关键场景下100%产生不安全动作。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈