AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
BioPro: 关于差分意识的性别公平性在视觉-语言模型中
机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）
专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 BioPro通过差分意识的性别公平性方法，在视觉-语言模型中实现选择性去偏，减少中性情境中的性别偏见同时保持显性情境中的性别忠实性。
Comments ACM Multimedia 2026
XS-VLA：将粗粒度空间蒸馏与潜在流匹配相结合用于轻量级机器人控制
机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； National College for Excellent Engineers, Beihang University（北京航空航天大学卓越工程师学院） ； Wuxi Dexteroushands Robotic Technology Co.（无锡灵犀机器人技术有限公司）
专题命中 图文多模态 ：multimodal(abstract)
AI总结 提出XS-VLA框架，先通过微调从Qwen3-VL-4B向SmolVLM2-0.25B骨干网蒸馏空间语义知识，再用其增强骨干网训练潜在流匹配策略，提升轻量级机器人控制性能，在LIBERO基准测试中表现出色。
Comments Preprint
TANDEM: 面向多模态仇恨言论的时间感知神经检测
机构 * Nature-Inspired Computing & Engineering, University of Surrey（Surrey大学自然启发计算与工程系） ； Surrey Centre for Cyber Security, University of Surrey（Surrey大学网络安全中心）
专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CL、cs.AI、cs.MM
AI总结 提出TANDEM统一框架，通过串联强化学习策略联合优化视觉-语言和音频-语言模型，将音频-视觉仇恨检测转化为结构化推理问题，在HateMM上目标识别F1达0.73（提升30%），并保持精确时间定位。
Comments Accepted to AAAI-ICWSM 2027
VideoFDB: 评估对话代理中的全双工视觉-语音能力
机构 * NVIDIA ； David AI
专题命中 音频语音多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.CL
AI总结 提出首个全双工视听到视听（AV2AV）对话基准VideoFDB，通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架，系统评估代理在非语言对话动态中的表现，发现现有系统存在字幕崩溃和视觉流忽视等缺陷。
Comments Project page: https://research.nvidia.com/labs/amri/projects/video-fdb/
平衡隐私与效率：基于加法同态加密的音乐信息检索
机构 * University of Washington（华盛顿大学）
专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 该研究提出基于加法同态加密的音乐检索方法，实现音乐专用推理攻击量化、结构感知加法原语优化，在四组音频数据集上验证其兼具隐私性与高效扩展性。
用于视频级矛盾心理和犹豫识别的交互流知识引导多模态推理
专题命中 视频多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 研究视频级矛盾心理和犹豫识别难题，提出PRISM-AH框架，通过冻结编码器、轻量级流模型处理多模态冲突，经窗口级注释监督、知识引导大语言模型推理，在测试中取得较好宏观F1，验证推理增益可转移。
Comments 14 Pages, 1 Figure, Ambivalence/Hesitancy (AH) Video Recognition Challenge, ECCV 2026
Ouroboros-Spatial：闭环数据-模型循环的空间推理
机构 * Peking University（北京大学） ； Ant International（蚂蚁国际） ； The University of Hong Kong（香港大学）
专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出Ouroboros-Spatial自演化框架，通过提议器与求解器闭环交互，动态生成与模型能力匹配的训练样本，在六个空间推理基准上以十分之一数据量显著提升Qwen3-VL性能。
稀疏超图增强的帧事件目标检测与细粒度MoE
机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University（清华大学软件学院，北京信息科学与技术国家研究中心，清华-英特尔先进移动计算中心，北京国家信息科学与技术实验室） ； State Key Laboratory of Heavy Oil Processing, China University of Petroleum (Beijing)（中国石油大学（北京）重质油国家重点实验室）
专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出Hyper-FEOD框架，通过稀疏超图增强交叉模态融合和细粒度MoE增强模块，实现高效的多模态交互优化，提升动态环境下目标检测的准确率与效率。
跨文本、表格和知识图谱检测知识不一致性
机构 * EURECOM（欧洲电信学院）
专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI
AI总结 研究跨文本、表格和知识图谱的知识不一致性检测问题，提出\textsc{Kontrast}框架，通过文本到SPARQL和语言模型推理比较并分类不一致性，实验表明跨模态不一致性常见且有价值，为知识审计提供工具并建立基准。
I2VShield：一种针对基于DiT的图像到视频模型的高效主动防御框架
机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 针对I2V模型被滥用问题，提出I2VShield主动防御框架。其包含文本自适应扰动生成框架和非目标多模态注意力干扰攻击两部分。该方法在多数据集和模型上保护性能优，能破坏时空连贯性且降低计算成本。
面向情感的提示方法用于共情LLM辅导
机构 * Neurosciences Graduate Program, University of California San Diego（加州大学圣地亚哥分校神经科学研究生项目） ； Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系） ； Department of Computer Science and Engineering, University of California San Diego（加州大学圣地亚哥分校计算机科学与工程系） ； Department of Electrical and Computer Engineering, University of California San Diego（加州大学圣地亚哥分校电气与计算机工程系） ； Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系） ； Face the FACS ； Halıcıoğlu Data Science Institute, University of California San Diego（Halıcıoğlu数据科学研究所）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文研究了在LLM辅导中整合面部表情信号以提升共情响应的效果，通过四种不同方法对比发现，基于动作单元的条件化能提升对面部表情的共情响应，而引导峰值帧选择优于随机帧输入。
ASCD：用于减少多模态大语言模型（MLLM）幻觉的注意力可导向对比解码
专题命中 跨模态检索 ：MLLM(title,title_cn)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL
AI总结 该研究针对MLLM的幻觉问题，提出ASCD方法，通过正负引导调整解码时的注意力分数，在多基准上显著减少幻觉并提升VQA准确率，且无需额外训练。
Comments Accepted at AAAI 2026
Journal ref Proceedings of the AAAI Conference on Artificial Intelligence, 40(12): 10306-10314, 2026
MathNet：数学推理与检索的全球多模态基准
机构 * MIT（麻省理工学院） ； KAUST（卡塔尔人工智能研究 institute） ； HUMAIN ； Individual Researcher（独立研究者）
专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI
AI总结 MathNet是一个大规模多模态数学问题基准，包含47个国家、17种语言、20年竞赛的30676道专家级数学问题，支持问题解决、数学检索和检索增强生成三个任务，实验表明先进模型在推理和检索任务上仍面临挑战。
Comments ICLR 2026; Website: http://mathnet.mit.edu
Journal ref Proceedings of the International Conference on Learning Representations (ICLR), 2026
MMEB-V3: 多模态嵌入模型性能差距的测量
专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)
AI总结 本文提出MMEB-V3基准，评估文本、图像、视频、音频及基于代理的多模态嵌入，发现现有模型在跨模态检索中存在显著偏差和不足。
Comments Accepted at COLM 2026
基于时频融合与监督对比学习的ECG心房颤动鲁棒检测方法
专题命中 跨模态检索 ：cross-modal(abstract)
AI总结 本文提出一种结合时频融合与监督对比学习的ECG心房颤动检测方法，通过双向门控模块和跨模态学习策略提升模型鲁棒性和跨数据集泛化能力。
多模态大语言模型时代的动态场景图生成研究
专题命中 多模态生成 ：MLLM(summary_cn,abstract)；multimodal(title,abstract)；分类 cs.CV
AI总结 本研究针对多模态大语言模型时代动态场景图生成的局限，从任务设置优化评估指标、基于MLLM改进模型设计，在多个数据集上实现了最优性能。
SalesSim：多模态语言模型作为零售用户模拟器的基准测试与对齐
机构 * Salesforce Research（Salesforce研究院） ； University of California Los Angeles（加州大学洛杉矶分校）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL
AI总结 SalesSim通过多轮多模态对话评估多模态大语言模型在模拟真实用户行为中的能力，发现模型在词汇多样性及决策一致性方面存在不足，并提出UserGRPO方法提升对话流畅度与决策对齐度。
OmniAD：基于多模态推理的工业异常检测与理解
机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； Visual Intelligence + X International Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作实验室） ； Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 OmniAD是融合视觉与文本推理的多模态框架，以Text-as-Mask Encoding等技术实现工业异常检测与理解，在MMAD基准性能超Qwen2.5-VL-7B等模型，代码与模型将公开。
FilmBench：用于电影视频生成的电影级基准测试
机构 * Alibaba Group（阿里巴巴集团） ； Moku Lab, Hujing Digital Media & Entertainment Group（魔氪实验室，虎鲸数字媒体与娱乐集团） ； Beijing Film Academy（北京电影学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 FilmBench是基于电影学院传统专业电影语言开发的文本到视频和参考到视频基准测试。它从获奖影片反向设计提示，依电影分类法评估，开发自动评估代理并开源核心套件，能再现人类模型排名，指出当前模型在动态美学等方面不足。
Distill, Diffuse, and Semanticize (DDS): 基于多粒度蒸馏和图扩散的无标注3D场景理解
机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； Pengcheng Laboratory（鹏城实验室）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV
AI总结 DDS通过多粒度蒸馏和图扩散实现轻量级无标注3D场景理解，提升区域一致性和语义识别，实验显示在多个数据集上性能优于现有方法。
基于扩散模型的信道状态信息（CSI）预测
专题命中 多模态生成 ：multimodal(abstract)
AI总结 本文提出一种基于扩散模型的新型概率CSI预测框架，分解任务为时间编码器与扩散生成器，研究多种推理方案与骨干，仿真显示其性能优于现有最先进基线模型。
Comments Accepted, IEEE Transactions on Wireless Communications
面向心血管传感器贴片的端到端多模态微型CNN原型设计
机构 * CTO System Innovation, NXP Semiconductors Germany GmbH（NXP半导体德国系统创新部） ； Advanced Chip Engineering, NXP Semiconductors（NXP半导体先进芯片工程部） ； Business Line Secure Connected Edge, NXP Semiconductors（NXP半导体安全连接边缘业务线） ； Institute of Medical Technology and Intelligent Systems, Hamburg University of Technology（汉堡技术大学医学技术与智能系统研究所） ； Department of Informatics, Hamburg University of Applied Sciences（汉堡应用科学大学信息学院）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 针对资源受限的医疗边缘设备，提出一种早期融合心电图和心音图数据的卷积神经网络，实现二分类，相比现有技术将内存和计算成本降低约三个数量级，并验证了在微控制器上的能效优势。
Comments 16 pages, 2 figures. Extended version of our 2024 IEEE PerCom paper, with direct on-device energy measurements, a BLE communication benchmark, architecture comparisons, and an extended evaluation. Submitted to Pervasive and Mobile Computing; Measurement-method clarifications and minor editorial corrections; results and conclusions unchanged
缩小眼科人工智能的差距：MM-Retinal-Reason数据集与OphthaReason模型用于动态多模态推理
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科学系） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 该研究针对现有眼科AI仅聚焦基础推理的问题，构建首个眼科多模态数据集MM-Retinal-Reason，并提出带UADT方法的OphthaReason模型，实现眼科多模态推理性能的显著提升。
MapTab: MLLMs 是否已准备好在异构图中进行多标准路线规划？
机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； AMAP, Alibaba Group（阿里集团AMAP） ； School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 本文提出MapTab基准测试，用于评估多模态大语言模型在多标准路线规划任务中的综合推理能力，发现当前模型在多模态推理方面存在显著挑战。
多模态医疗数据建模的挑战与解决方案：一项系统综述
机构 * Institute of General Practice/Family Medicine（一般医学/家庭医学研究所） ； Freiburg Center for Data Analysis, Modeling and AI（弗赖堡数据分析、建模与人工智能中心） ； Institute of Medical Biometry and Statistics（医学生物统计研究所） ； Institute for Applied Medical Informatics（应用医学信息研究所） ； Institute of Medical Systems Biology（医学系统生物学研究所） ； Department of Computer Science（计算机科学系）
专题命中 多模态评测 ：multimodal(title,abstract)
AI总结 本系统综述针对多模态医疗数据建模面临的模态缺失、样本量有限等挑战，结合69项研究，介绍迁移学习等解决方案，为该领域未来研发提供实用指导。
VistaHop: 视觉深度搜索的多跳视觉推理基准
机构 * East China Normal University（东华大学） ； Meituan（美团） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出VistaHop基准，通过多跳问答任务评估多模态大推理模型在视觉深度搜索中的迭代图像检查、视觉锚点定位和跨证据链推理能力，实验表明现有模型表现有限。
SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉
机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。
临床图介导的非配MRI到CFI高血压预测
机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Research Convergence Institute（研究融合院） ； Department of AI Systems Engineering（人工智能系统工程系） ； Department of Electrical and Computer Engineering（电气与计算机工程系）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出CGMD框架，通过构建临床相似性kNN图将MRI中的高血压知识迁移至视网膜模型，提升非配MRI-视网膜数据下的高血压预测性能。
Comments 10 pages, 2 figures, 2 tables. Under review at MICCAI 2026
POINTS-Seeker：从零开始训练多模态代理搜索模型
机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； CMIC, Shanghai Jiao Tong University（上海交通大学CMIC） ； WeChat AI, Tencent（腾讯WeChat AI）
专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出POINTS-Seeker模型，通过引入代理播种机制和V-Fold压缩方案，解决长周期交互中的证据检索问题，并在六个基准测试中超越现有模型。
AI辅助写作中的主体差距：反应式与主动式智能体设计如何塑造多模态推理
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 该研究针对AI辅助写作中的主体差距，对比反应式与主动式智能体设计的效果，发现主动式设计可强化多模态推理关联，还能缩小AI素养相关的表现差异，为教育AI智能体设计提供了方向。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈