AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
GuideCAD: 基于前缀嵌入的轻量级多模态3D CAD模型生成框架
机构 * Convergence Research Center for Insect Vectors（昆虫传播载体汇聚研究中心） ； Incheon National University（仁川国立大学） ； Center for Brain-Machine Interface（脑机接口中心）
专题命中 多模态生成 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV
AI总结 提出GuideCAD框架，利用少量可训练参数通过映射网络将图像嵌入转为前缀嵌入，结合预训练大语言模型和Transformer解码器生成3D CAD模型，参数减少约4倍且训练效率提升2倍。
统一安全上下文图像生成：在多模态扩散变换器中通过限制不安全信息流
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出UVR框架，通过分析注意力动态中的不安全信息流，在无需训练的情况下对输出补丁进行注意力调制，实现图像生成和编辑任务的安全控制，达到91%和77%的擦除率。
Comments ICML26
忠实、丰富且精确：T2I模型在自然科学插图生成中的基准测试
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Wuhan University（武汉大学） ； Nankai University（南开大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； ZODA ； Alaya Studio（Alaya工作室）
专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV
AI总结 提出FEPBench基准，通过细粒度原子集标注和三维评估（指令忠实性、推理丰富性、语义精确性）系统评估T2I模型在自然科学插图生成中的表现，发现即使最先进的闭源模型仍存在文本渲染瓶颈、推理丰富性有限以及生成丰富性与精确性难以平衡的问题。
VEDA：通过退火变方差扩散实现3D分子生成
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 VEDA结合退火变方差扩散与SE(3)等价架构，高效生成准确的3D分子结构，实现高化学精度与计算效率。
TrioPose: 用于姿态引导文本到图像生成的原生三流扩散变换器
机构 * Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出TrioPose，基于SD3.5M架构的原生三流姿态感知DiT，通过逐层激活和零初始化双残差注入保持预训练稳定性，并设计可学习关系偏置掩码和姿态引导空间损失加权，在多人姿态引导生成中实现SOTA性能，Human-Art上AP达64.33。
Comments 15 pages (9 pages main body, 6 pages references and appendix), 3 figures, 5 tables
基于结构化步态-语言表示的LLM条件病理步态合成
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； MIT Media Lab（麻省理工学院媒体实验室）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 提出一种多模态LLM引导框架，通过结构化文本描述合成病理步态3D数据，利用运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成，改善下游分类性能。
Comments Accepted at CVPR MOMA Workshop 2026 and selected for spotlight presentation at the workshop
基于物理引导的条件扩散模型的超材料吸收体逆向设计
机构 * Centre for Electromagnetics, CSIR-National Aerospace Laboratories（电磁研究中心，国家航空航天实验室） ； Birla Institute of Technology and Science, Pilani（比拉理工学院，皮兰） ； Indian Institute of Technology, Bombay（孟买印度理工学院）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出了一种基于物理引导的条件扩散框架，用于设计具有特定电磁响应的超材料吸收体，通过特征线性调制和预训练的替代电磁模拟器，提高了设计效率和条件准确性，实验表明该方法在2-18GHz频率范围内能够快速生成实用的超材料结构。
车辆网络中的联邦基础模型
机构 * University of Waterloo（多伦多大学）
专题命中 多模态生成 ：multi-modal(abstract)
AI总结 本文提出将多模态多任务联邦基础模型（M3T FedFMs）集成到车辆网络中的愿景，结合基础模型的表达力与联邦学习的隐私保护分布式学习能力，并通过Waymo数据集案例验证其潜力。
Comments 8 pages, 4 figures
WorldBench: 一个具有挑战性且视觉多样的多模态推理基准
机构 * Princeton University（普林斯顿大学） ； NYU（纽约大学） ； University of Waterloo（滑铁卢大学） ； Meta, FAIR（Meta和FAIR）
专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.CV
AI总结 提出WorldBench，通过构建多领域视觉概念分类法并收集多样化图像，设计前沿MLLM难以回答的问题，以评估多模态大语言模型的视觉理解能力，揭示其弱点。
Comments Project page: https://worldbench-vl.github.io/
看见而不暴露：面向开放世界、上下文饥渴型MLLM的自适应隐私控制
机构 * City University of Hong Kong（香港城市大学） ； Hon Hai Research Institute（鸿海研究学院） ； Lingnan University（岭南大学）
专题命中 多模态评测 ：MLLM(title_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 针对多模态大语言模型在开放世界中面临不可预测敏感信息泄露的隐私挑战，提出无训练方法APD，将隐私元素漂移至语义等价替代物并锚定上下文线索，结合新基准AdaptShield实现隐私保护与上下文保留的平衡提升。
MMBU: 大规模多模态生物医学理解基准，用于探测视觉语言模型的感知能力
机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Instituto Tecnológico de Monterrey（蒙特雷技术学院） ； Monash University（墨尔本大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学）
专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MMBU基准，涵盖35个子模态，通过分类、定位和检测任务系统评估VLM在生物医学领域的视觉感知和泛化能力，发现高准确率可能掩盖感知缺陷。
MCERF：通过增强检索推进工程文档的多模态大语言模型评估
机构 * School of Mechanical, Aerospace, and Manufacturing Engineering, University of Connecticut, Storrs, CT 06269（机械、航空航天与制造工程学院，康涅狄格大学，斯托尔斯，CT 06269） ； Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（机械工程系，麻省理工学院，剑桥，MA 02139，美国）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 提出MCERF框架，结合多模态检索器ColPali与大语言模型推理，通过混合查找、视觉文本融合、高推理和自一致性决策等策略，在DesignQA基准上实现平均准确率相对提升41.1%，无需完整规则书摄入即可处理工程文档中的多模态问答。
从视觉到文本：一种用于身份证件跨域鲁棒演示攻击检测的紧凑多模态方法
机构 * da/sec-Biometrics and Security Research Group, Hochschule Darmstadt（da/sec生物安全研究组，达姆施塔特应用技术大学） ； Technical University of Denmark (DTU)（丹麦技术大学（DTU））
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 针对身份证件演示攻击检测中的跨域迁移问题，提出一种结合视觉与文本数据的紧凑多模态模型，发现监督微调后泛化强但零样本设置下失效，强调模型容量和真实数据的重要性。
Comments Publication under the revision process on IEEE
基于证据的智能诊断与治疗可视化系统与大语言模型：多轮交互与多模态治疗方案生成
机构 * Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海）） ； Harbin Institute of Technology (Weihai) Qingdao Research Institute（哈尔滨工业大学（威海）青岛研究院） ； Shandong Key Laboratory of Digital Service Computing Technology and Systems（山东省数字服务计算技术与系统重点实验室） ； Weihai Municipal Hospital（威海市人民医院） ； Shanghai Taizhu Technology Co., Ltd（上海泰山技术有限公司） ； Tianjin Zhifu Qihuang Medical Technology Co., Ltd（天津中孚启黄医疗技术有限公司）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出知识增强的可视化诊断系统，通过知识图谱约束、信息增益驱动提问和多模态治疗呈现，提升中医辨证透明度和治疗可解释性。
Comments 29 pages, 9 figures, 5 tables, including supporting information
OmniSch：面向结构化图表视觉推理的多模态PCB原理图基准
机构 * Pennsylvania State University, USA（宾夕法尼亚州立大学） ； Independent Researcher（独立研究者） ； Binghamton University, USA（布ingham顿大学） ； Shanghai Jiao Tong University, China（上海交通大学） ； Microsoft Research（微软研究院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出首个多模态PCB原理图理解基准OmniSch，包含四项任务评估大模型在视觉定位、图推理和几何推理上的能力，揭示现有模型在工程图表理解上的显著差距。
OGA-AID：用于中风后康复多模态观察性步态分析的临床医生在环AI报告起草助手
机构 * Rehabilitation Research Institute of Singapore, Nanyang Technological University, Singapore（新加坡康复研究中心，南洋理工大学，新加坡） ； Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（李光前医学院，南洋理工大学，新加坡） ； The Grainger College of Engineering, University of Illinois Urbana-Champaign, United States（伊利诺伊大学厄巴纳-香槟分校格雷格学院，美国） ； Department of Rehabilitation Sciences, The Hong Kong Polytechnic University, Hong Kong（香港理工大学康复科学系，香港） ； VinUni-Illinois Smart Health Center, VinUniversity, Vietnam（Vin大学Vin-伊利诺伊智能健康中心，越南） ； Institute of Rehabilitation Excellence, Tan Tock Seng Hospital, NHG Health, Singapore（卓越康复研究所，坦托克桑格医院，NHG健康，新加坡）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出OGA-AID，一种临床医生在环的多智能体大语言模型系统，通过协调三个专业智能体合成患者运动记录、运动学轨迹和临床资料，生成结构化步态评估报告，在真实患者数据上优于单次多模态基线，并展示了AI辅助分析与人类临床判断的互补关系。
Comments 2026 CV4Clinic CVPR Workshop Proceedings
多任务模型融合的闭式谱正则化
机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 针对多任务模型融合中的干扰最小化问题，发现迭代求解器实际充当隐式谱正则化器，据此提出基于谱滤波的闭式方法SWUDI及其自适应变体SWUDI-A，显著提升效率并匹配或超越现有方法。
外观有帮助吗？在线3D多行人追踪中基于图像的重识别系统研究
机构 * Institute of Systems and Robotics, Department of Electrical and Computer Engineering, University of Coimbra（系统与机器人研究所，电气与计算机工程系，科英布拉大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 系统研究轻量级投影框架下图像重识别在在线3D多目标追踪中的作用，提出级联匹配策略以在低延迟下恢复遮挡轨迹并防止身份切换。
Comments Accepted for publication at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026)
你的帖子揭示了什么：社交媒体用户级隐私泄露的基准与智能体框架
机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Wuhan University（武汉大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 针对社交媒体用户级多模态隐私泄露缺乏统一基准和评估指标的问题，提出SopriBench基准和隐私暴露分数（PES），并开发了无需训练的智能体框架Argus，通过跨帖子线索累积推理实现隐私推断，PES达0.55，较最强基线提升25%。
HiPS： doctrinal法律书籍的分层PDF分割
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本文提出HiPS，用于分层PDF分割doctrinal法律书籍，提供了一个包含49本开放获取法律书籍的黄金标准基准，包含9812个手动编纂的标题、层级和页面锚点，同时引入了基于目录和无目录的分割管道，以提高标题检测、层级重建和边界分配的准确性。
Comments 11 pages, 9 figures. Accepted as a demo paper at ICAIL 2026. This arXiv version includes an appendix, new results, bug fixes, and presentation improvements beyond the earlier preprint; consequently, some reported numbers differ
M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 多模态Agent ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL
AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。
面向视觉原生多模态深度搜索智能体的在策略数据演化
机构 * Hong Kong University of Science and Technology（香港理工大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； University of Edinburgh（爱丁堡大学）
专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL
AI总结 提出在策略数据演化（ODE）框架，通过图像库引用协议和闭环数据生成器，解决多模态深度搜索中视觉证据不可复用和训练数据静态问题，在8个基准上显著提升性能。
Agent规划基准：LLM Agent规划能力的诊断框架
机构 * Tongji University（同济大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Skywork AI ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CL
AI总结 提出Agent规划基准(APB)，通过4209个多模态案例和五个设置，诊断LLM Agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时改进方面的系统弱点。
AutoTool: 面向智能体推理的动态工具选择与集成
机构 * Nanyang Technological University（南洋理工大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL；multi-modal(comments)
AI总结 提出AutoTool框架，通过双阶段优化（SFT+RL轨迹稳定化和KL正则化Plackett-Luce排序）使大语言模型具备动态工具选择能力，在数学、科学、代码和多模态推理等任务上平均提升6.4%-7.7%。
Comments ICML2026; Best Paper Award at ICCV 2025 Workshop on Multi-Modal Reasoning for Agentic Intelligence
EVA: 针对环境注入攻击的红队GUI智能体的演化语义对抗方法
机构 * School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Independent Researcher（独立研究者）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出EVA框架，通过演化语义对抗载荷攻击多模态大语言模型驱动的GUI智能体，揭示语义欺骗是攻击成功的关键，实现85%攻击成功率且快速收敛。
Comments Accepted by
MoDA: 面向指令型多模态大语言模型的细粒度视觉定位的调制适配器
机构 * University of California, Berkeley（加州大学伯克利分校）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 提出MoDA调制适配器，通过指令引导的通道级乘法调制增强细粒度视觉定位，在12个基准上对三种MLLM架构取得一致提升，计算开销极小。
Comments Accepted at ICML 2026. Code is available at https://github.com/waybarrios/MoDA
模态间隙驱动的子空间对齐训练范式用于多模态大语言模型
机构 * HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； sh AILab ； SII ； Stanford（斯坦福大学） ； UCLA（加州大学洛杉矶分校） ； Yale（耶鲁大学） ； SJTU（上海交通大学） ； GBU（国防大学） ； PKU（北京大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 针对多模态对比学习中的模态间隙问题，提出固定帧模态间隙理论，并基于该理论设计无训练的对齐策略ReAlign和可扩展训练范式ReVision，利用无配对数据实现视觉与语言表示的高效对齐。
教方法而非答案：用于多模态策略优化的特权辅导蒸馏
机构 * Tianjin University（天津大学） ； Beijing Institute of Technology（北京理工大学） ； Singapore Management University（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Xiaomi Inc（小米公司）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。
Multi-FRuGaL：面向癌症诊断与预后的多模态灵活冗余感知分解门控学习
机构 * Division of Computational Pathology, Department of Pathology and Laboratory Medicine, Indiana University School of Medicine（计算病理学部，病理学与实验室医学部，印第安纳大学医学院） ； IU Melvin and Bren Simon Comprehensive Cancer Center（印第安纳大学Melvin和Bren Simon综合癌症中心） ； Departments of Biostatistics and Health Data Science（生物统计学与健康数据科学部） ； Radiology and Imaging Sciences（放射学与影像科学部） ； Neurological Surgery（神经外科） ； Indiana University School of Medicine（印第安纳大学医学院） ； Department of Computer Science, Luddy School of Informatics, Computing, and Engineering（计算机科学部，Luddy信息、计算与工程学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 提出Multi-FRuGaL框架，通过分解感知自适应门控中间融合，在缺失模态下学习模态级表示，分离冗余与互补信号，提升癌症诊断与预后性能。
MACS: 模态感知容量缩放用于高效多模态MoE推理
机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI
AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。
Comments Accepted by ACL 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈