AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
AmaraSpatial-10K：一个空间和语义对齐的3D数据集用于空间计算和具身AI
机构 * Zero One Creative（Zero One创意）
专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AmaraSpatial-10K数据集，包含10000多个合成3D资产，优化零样本部署，通过精确锚点、PBR贴图和文本元数据提升CLIP召回率和物理稳定性。
AssemblyBench: 复杂工业物体的物理感知装配
机构 * Rutgers, The State University of New Jersey（新泽西罗格斯大学） ； The Australian National University（澳大利亚国立大学） ； Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学） ； Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AssemblyBench数据集和AssemblyDyno模型，通过多模态指令和3D部件模型预测装配顺序和轨迹，优于现有方法的装配姿态估计和轨迹可行性评估。
Comments Accepted at CVPR 2026
视觉审美基准：前沿模型能评判美吗？
机构 * Bake AI ； University of Washington（华盛顿大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Stanford University（斯坦福大学） ； University of Notre Dame（诺丁汉大学） ； Carnegie Mellon University（卡内基梅隆大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Western Washington University（西雅图华盛顿大学） ； King Abdulaziz City for Science and Technology（国王阿卜杜勒阿齐兹科技城）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出视觉审美基准（VAB），通过比较选择评估审美，发现前沿模型在判断最佳和最差图像时表现逊于人类专家，表明需进一步改进。
Comments Project page: https://vab.bakelab.ai. Code: https://github.com/BakeLab/Visual-Aesthetic-Benchmark. Dataset: https://huggingface.co/datasets/BakeLab/Visual-Aesthetic-Benchmark
GeoBuildBench：一个用于从自然语言构建可执行几何构造的基准
机构 * Peking University（北京大学） ； Wangxuan Institute of Computer Technology（王璇计算机技术研究院）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL
AI总结 GeoBuildBench评估大语言模型能否将自然语言几何问题转化为可执行构造，包含489道中文教材问题，验证了多模态模型在交互构造任务中的局限性。
Edit-Compass 与 EditReward-Compass：图像编辑与奖励建模的统一基准
机构 * HDU（杭州大学） ； PKU（北京大学） ； Kling Team（Kling团队） ； CASIA（中国科学院自动化研究所）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出Edit-Compass和EditReward-Compass，通过精细多维评估框架和真实奖励建模场景，解决现有图像编辑和奖励模型评估中的不足。
Agentick: 一个统一的连续决策制定代理基准测试
机构 * Mila Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； Google DeepMind（谷歌DeepMind）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI
AI总结 Agentick是一个统一的连续决策制定代理基准测试，评估RL、LLM、VLM等代理在共同基础上的表现，揭示各方法的不足，为通用自主代理研究提供实验基础。
SubspaceAD：通过子空间建模实现无训练少样本异常检测
机构 * AIMS Group, Department of Electrical Engineering, Eindhoven University of Technology（AIMS组，电气工程系，埃因霍温理工大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV
AI总结 SubspaceAD提出一种无需训练的少样本异常检测方法，通过冻结DINOv2模型提取正常图像的补丁特征，并利用PCA建模估计正常变化的低维子空间，从而在无训练、提示微调或内存库的情况下实现最先进的性能。
Comments Accepted to CVPR 2026. Revised version with corrected AU-PRO evaluation and recomputed metrics
基于传感的动态无人机定位系统中LoS/NLoS识别
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 本文提出了一种基于传感的动态无人机定位系统中LoS/NLoS识别方法，通过构建多模态传感通信集成数据集，提出双输入特征融合网络，提升识别精度和泛化能力。
Seg-Agent: 无训练语言引导分割的测试时多模态推理
机构 * School of Computing and Information Technology（计算与信息科技学院） ； Great Bay University（大湾大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Beihang University（北航大学） ； Department of Computing（计算系） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI
AI总结 Seg-Agent提出无训练的多模态推理框架，通过生成-选择-细化三阶段循环实现视觉区域分割，无需参数更新即可达到与训练方法相当的性能。
再思一次，行动一次：验证引导的动作选择用于具身智能体
机构 * Technical University of Darmstadt（达姆斯塔特技术大学）
专题命中 多模态Agent ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.AI
AI总结 本文提出验证引导的动作选择框架，通过显式验证步骤提升基于MLLM的具身智能体的鲁棒性，实验证明在复杂任务中性能提升达36%。
Comments CVPR 2026 (Findings)
RS-Claw：通过分层技能树实现渐进式主动工具探索的遥感代理
机构 * School of Geosciences and Info-Physics, Central South University（地质科学与信息物理学院，中南大学） ； School of Resources and Environment, University of Electronic Science and Technology of China（资源与环境学院，电子科技大学） ； School of Earth Sciences and Spatial Information Engineering, Hunan University of Science and Technology（地球科学与空间信息工程学院，湖南科技大学） ； Sanya Institute of Hunan University of Science and Technology（海南科技大学三亚研究院）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI
AI总结 本文提出RS-Claw，通过分层技能树实现主动探索，解决遥感代理工具选择中的被动机制问题，提升长周期推理中的工具命中率和上下文空间效率。
离散扩散用于复杂且拥堵的多智能体路径寻找与稀疏社交注意
机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器重点实验室） ； School of Advanced Interdisciplinary Sciences, CAS（中国科学院高等交叉学科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Microelectronics, CAS（中国科学院微电子研究所）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出DiffLNS框架，结合离散去噪扩散概率模型与LNS2，通过稀疏社交注意学习多智能体轨迹先验，提升多智能体路径寻找的修复效率与成功率。
Comments 24 pages, 7 figures
从像素到BFS：高迷宫精度并不意味着视觉规划
机构 * Independent Researcher（独立研究者）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 本文通过MazeBench基准测试，揭示了多模态模型在视觉空间任务中依赖于文本网格转换和逐步路径枚举，而非真正的规划，高精度并不等同于人类空间理解。
Comments 15 pages, 10 figures. Code and mazes available at https://github.com/alrod97/LLMs_mazes
基于流匹配的离线强化学习中离散动作的处理
机构 * Department of Computer Science, University of Kentucky（计算机科学系，肯塔基大学） ； Department of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学系，罗切斯特理工学院）
专题命中 多模态Agent ：multi-modal(abstract)
AI总结 本文提出一种适用于离散动作空间的流匹配框架，通过连续时间马尔可夫链和因子化条件路径，扩展了离线强化学习的应用范围，并在多种任务中展示了优越性能。
Zatom-1：迈向3D分子和材料的多模态基础模型
机构 * LBNL（劳伦斯伯克利国家实验室） ； ICSI（国际计算机科学研究所） ； University of Cambridge（剑桥大学） ； Yale University（耶鲁大学） ； MIT（麻省理工学院） ； UC Berkeley（加州大学伯克利分校）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.AI
AI总结 Zatom-1是一种跨领域、通用的模型架构，统一了3D分子和材料的生成与预测学习，通过多模态流匹配目标实现高效的预训练和稳定采样，提升了生成推理速度和跨领域预测性能。
Comments 38 pages, 10 figures, 15 tables. ICLR 2026 FM4Science. Code, data, and model weights are available at https://github.com/Zatom-AI/zatom
VoxCor：无需训练的体积分量用于多模态体素对应
机构 * Biomedical Image Computing Group, ETH Zurich（生物医学图像计算组，苏黎世联邦理工学院） ； The LOOP Zurich – Medical Research Center（苏黎世医疗研究中心）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 VoxCor通过冻结的2D Vision Transformer基础模型生成可重用的体积分量表示，无需训练即可实现跨模态和跨主体的体素对应，提升跨模态和跨主体的转换性能。
OmniSIFT: 多模态非对称令牌压缩用于高效的多模态大语言模型
机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新实验室（NLPR）、自动化研究所、中国科学院（CASIA）） ； Nanjing University（南京大学） ； The Hong Kong University of Science（香港科学大学） ； Sichuan University（四川大学） ； Peking University（北京大学）
专题命中 多模态训练与对齐 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CL
AI总结 OmniSIFT通过非对称令牌压缩框架提升多模态大语言模型效率，采用时空视频修剪和视觉引导音频选择模块，实现低参数高鲁棒性。
Comments [ICML 2026] Code Link: https://github.com/dingyue772/OmniSIFT
BrainAnytime: 基于解剖结构的跨模态预训练用于脑图像分析，支持任意模态可用性
机构 * Department of Biomedical Engineering, The Hong Kong Polytechnic University, Hong Kong SAR, China（生物医学工程系，香港理工大学，香港特别行政区，中国） ； Department of Technology Management for Innovation, The University of Tokyo, Japan（创新技术管理系，东京大学，日本） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University, Hong Kong SAR, China（数据科学与人工智能系，香港理工大学，香港特别行政区，中国）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 BrainAnytime通过跨模态蒸馏和解剖引导课程掩码，在共享的3D掩码自动编码器中学习MRI与PET的结构-分子对应关系，实现对任意模态可用性的统一预训练，提升多任务性能。
Comments Early accepted by MICCAI 2026
通过混合频率专家利用多模态大语言模型实现一站式图像修复
机构 * Chungbuk National University（Chungbuk国立大学） ； Institute of Science Tokyo（东京科学研究所）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV
AI总结 本文提出一种利用多模态大语言模型指导的图像修复框架，通过混合频率专家模块提升对复合退化特征的建模能力，在多个数据集上取得优异效果。
STELLA：一种通过统一序列-结构编码进行蛋白质功能注释的多模态大语言模型
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)
AI总结 STELLA通过统一序列-结构编码与文本模态协同，提升蛋白质功能注释的准确性，实现功能描述预测和酶促反应预测的最新成果。
Comments Accepted to Findings of ACL 2026
ChatSR：用于科学公式发现的多模态大语言模型
机构 * AnnLab, Institute of Semiconductors, Chinese Academy of Sciences, Beijing, China（安 lab，半导体研究所，中国科学院，北京，中国） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences, Beijing, China（电子、电气与通信工程学院，中国科学院大学，北京，中国） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing 101408, China（先进交叉科学学院，中国科学院大学，北京101408，中国） ； College of Materials Science and Opto-Electronic Technology, University of Chinese Academy of Sciences, Beijing, 100049, China（材料科学与光电技术学院，中国科学院大学，北京100049，中国） ； School of Integrated Circuits, University of Chinese Academy of Sciences, Beijing 100049, China（集成电路学院，中国科学院大学，北京100049，中国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI
AI总结 ChatSR通过设计专用编码器和模态对齐机制，将科学数据映射到可被大语言模型处理的表示空间，从而生成符合领域先验的数学公式，推动科学发现自动化。
Comments 14 pages,
推理时动态模态选择用于不完整多模态分类
机构 * Department of Electrical and Electronic Engineering & I-X（电气与电子工程系及I-X）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出DyMo框架，通过动态选择并融合可靠恢复的模态，解决不完整多模态学习中的丢弃或填补困境，实验显示其在多种缺失数据场景下优于现有方法。
Comments 27 pages (including appendix), accepted by ICLR 2026
监督深度多模态矩阵分解用于可解释性脑网络分析
机构 * Dept. of Mathematics & Operational Research University of Mons（数学与运筹学系蒙斯大学） ； Dept. of Computer Science & Engineering Lehigh University（计算机科学与工程系莱斯大学） ； Dept. of Industrial & Systems Engineering Lehigh University（工业与系统工程系莱斯大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)
AI总结 本文提出SD3MF框架，通过深度层次分解和共享潜在表示整合多模态脑网络数据，实现可解释的群体预测。实验表明SD3MF在多模态连接组数据上优于CNN和GNN等基线模型。
多任务多模态融合：基于表格基础模型的百日咳加强针反应峰值和持续性预测
机构 * Berlin, Germany（柏林，德国）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)
AI总结 本文提出多任务对比多模态融合架构，用于预测百日咳加强针反应的峰值和持续性，通过结合冻结的TabPFN-v2模态编码器、双标签监督对比损失、模态dropout和缺失性掩码注意力融合，实现了对两个任务的联合预测。
Comments 22 pages, 8 figures, 4 tables. Code available at https://github.com/Divya1205/cmi-pb-multitask
ViTacFormer：学习跨模态表示以实现视觉-触觉灵巧操作
机构 * University of California, Berkeley（加州大学伯克利分校） ； Peking University（北京大学） ； Sharpa
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)
AI总结 本文提出ViTacFormer，通过跨注意力编码器融合高分辨率视觉与触觉，并结合自回归触觉预测头提升精度与鲁棒性，实现多指手的模仿学习，成功完成高精度灵巧操作任务。
重新审视你所见：揭示视觉语义以引导LVLM解码
机构 * Yonsei University（延世大学）
专题命中 多模态训练与对齐 ：multimodal(abstract,abstract_cn)；分类 cs.CV、cs.CL、cs.AI
AI总结 本文通过分析发现视觉token在幻觉中仍提供有效信息，提出ReVisiT方法通过参考视觉token引导LVLM解码，减少计算成本并提升性能。
Comments ACL 2026 Main Conference (Oral). 30 pages, 10 figures. Code: https://github.com/bscho333/ReVisiT
通过混合随机平滑实现异质扰动下的认证鲁棒性
机构 * Department of Computer Science, School of Computing, Institute of Science Tokyo, Tokyo, Japan（东京科学研究所计算机科学系） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算机与数据科学学院） ； PSL University, Paris, France（巴黎高等师范学院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)
AI总结 本文提出统一的混合随机平滑框架，针对混合离散-连续输入，基于可解析的Neyman-Pearson联合最坏情况问题，提供闭式一维证书，扩展了高斯和离散随机平滑，应用于多模态安全过滤。
Comments ICML 2026. Code: https://github.com/tdsai-lab/hybrid-randomized-smoothing
GRIP-VLM：基于组相对重要性的高效视觉-语言模型压缩
机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； Juhaokan Technology Co.,Ltd（极皓科技有限公司） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 GRIP-VLM通过强化学习框架解决视觉语言模型中大规模视觉token处理的计算瓶颈，通过组相对重要性策略优化实现高效压缩，达到15%的推理加速。
Comments 10 pages, 11 figures
WD-FQDet：通过小波分解和频率感知查询学习的多光谱检测变换器
机构 * University of Electronic Science and Technology of China（电子科学与技术大学）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 本文提出WD-FQDet框架，通过小波分解和频率感知查询学习分离红外与可见光的共性与专用特征，提升多光谱目标检测性能。
TokaMind用于电网：从融合等离子体的跨域迁移
机构 * TaiScience Research Group（TaiScience研究组） ； Fu Jen Catholic University（辅仁大学） ； Center for Geometry and Physics（几何与物理中心） ； Institute for Basic Science (IBS)（基础科学研究所）
专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.AI
AI总结 TokaMind通过多模态Transformer模型在等离子体诊断数据上预训练，展现优于CNN的方法。研究发现其表示在物理不同但结构相似的领域有效，尤其在电网同步相位数据中表现最佳，提出跨域迁移框架和评估协议。
Comments 8 pages, 5 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈