AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
统一多任务框架实现可解释的胸部X光片分析
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出IMT-CXR框架，通过统一Transformer架构模拟放射科医生诊断流程，实现疾病识别、属性表征和可追溯报告生成，在十个基准上表现优异，且临床评估中66%的AI报告达到或超越原始报告。
面向科学图像效用与可升级性的表征
机构 * TongJi University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 针对AI生成内容对科学图像完整性的威胁，提出SIU²A框架，通过效用（错误检测与修正可行性）和可升级性（修正质量）两个维度评估科学图像，并构建基准数据集揭示当前多模态系统在科学错误评估与忠实修正方面的显著局限。
MARIO: 运动增强的实时多传感器惯性里程计
机构 * Northwestern University（西北大学） ； University of Chicago（芝加哥大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出MARIO框架，通过学习IMU推断的人体姿态先验约束运动动力学，并结合多传感器融合（磁力计、气压计、辅助IMU），在Nymeria数据集上将位置漂移降低36%-42%，实现无相机人体跟踪的准确鲁棒惯性里程计。
Comments CVPR 2026 Findings
超越答案的思考：评估大型推理模型中的有害过度思考
机构 * University of Trento（特伦托大学） ； Toyota Motor Europe（丰田欧洲公司） ； Fondazione Bruno Kessler（布鲁诺·凯塞林基金会）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出前缀级轨迹评估协议，通过定义推理充分性来区分冗余但无害的冗长过度思考和导致正确轨迹偏离的有害过度思考，发现当前模型不仅受限于推理能力，还受限于无法在适当时机停止。
PaintBench: 精确视觉编辑的确定性评估
机构 * New York University（纽约大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 提出PaintBench基准，通过程序化生成20种基本视觉编辑操作，实现确定性像素级评估，发现当前模型性能低（最高mIoU 17.1%），并揭示任务分解和场景变化的影响。
Comments Project Page: https://paintbench.github.io/
FinStressTS: 金融时间序列预测的参数化合成基准
机构 * National University of Singapore（新加坡国立大学） ； Asian Institute of Digital Finance（亚洲数字金融研究所） ； Nanyang Technological University（南洋理工大学）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 针对金融预测中信号弱、机制复杂的问题，提出FinStressTS合成基准，通过30个诊断环境系统评估15种模型在点预测与概率预测上的表现，揭示模型性能对数据机制的依赖性。
Comments KDD 2026 (Oral)
QUIVER: 用于大型机器学习模型中增强表示的量子信息视角
机构 * University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学）
专题命中 多模态评测 ：multimodal(abstract)
AI总结 提出QUIVER框架，通过变分量子电路提取量子Fisher信息矩阵作为几何特征，与经典特征融合以提升大型机器学习模型性能，并在QM9和JetClass数据集上验证了有效性。
Comments 9 pages, 1 figure and 2 tables. Accepted as a poster at the AI4Physics Workshop, ICML 2026 (Seoul, South Korea)
评估维度在AI辅助医疗中跨年龄情感识别比情感标签更具泛化性
专题命中 多模态评测 ：multimodal(abstract)
AI总结 本研究通过比较基于评估维度和情感标签的多模态模型在老年和青年群体上的表现，发现评估维度在跨年龄情感识别中具有更好的泛化能力和预测稳定性。
BEAVR：用于机器人的双手、多形态、可访问的虚拟现实遥操作系统
机构 * Department of Aeronautics and Astronautics, Massachusetts Institute of Technology（航空与航天系，麻省理工学院）
专题命中 多模态评测 ：multi-modal(abstract)
AI总结 提出BEAVR，一个开源的双手多形态VR遥操作系统，通过零拷贝流式架构和异步“思考-行动”控制循环，实现低延迟、多机器人实时控制与数据记录，并兼容多种视觉运动策略。
Comments Accepted for presentation on ICCR Kyoto 2025
Vision-OPD：通过在线策略自蒸馏学习多模态大语言模型的精细细节
机构 * Tsinghua University（清华大学）
专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV、cs.CL、cs.AI
AI总结 提出Vision-OPD框架，通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略，提升多模态大语言模型对细粒度视觉理解的准确性。
Comments Project page: https://github.com/VisionOPD/Vision-OPD
CP-Agent: 化学扰动下细胞形态学轮廓的上下文感知多模态推理
机构 * Department of Electrical and Computer Engineering, The University of Hong Kong（香港大学电子与计算机工程系） ； School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院） ； School of Biomedical Engineering, The University of Hong Kong（香港大学生物医学工程学院） ； Nvidia AI Technology Center（NVIDIA人工智能技术中心） ； Advanced Biomedical Instrumentation Centre（先进生物医学仪器中心）
专题命中 多模态Agent ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.AI
AI总结 提出CP-Agent，一种基于上下文感知对齐模块CP-CLIP的多模态大语言模型，用于生成药物扰动下细胞形态变化的可解释机制性解释，实现高精度处理与机制区分（最大F1分数0.896），并整合工具使用与推理生成结构化报告以加速药物发现。
Comments ICLR 2026
Demo2Tutorial：从人类经验到多模态软件教程
机构 * Show Lab, National University of Singapore（新加坡国立大学Show实验室）
专题命中 多模态Agent ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV
AI总结 提出Demo2Tutorial框架，通过屏幕录制和交互日志将人类经验解析为结构化多模态教程，用于人类学习和GUI智能体训练，实验证明其生成质量超越人工教程并提升任务效率。
Comments Accepted by CVPR 2026
MUSE: 多模态大语言模型的统一智能体框架
机构 * Northeastern University（东北大学）
专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出MUSE框架，通过可组合模块（任务表示、视觉处理、感知工具、结构化解析、确定性验证和验证器引导修复）提升冻结多模态大语言模型性能，无需重新训练。
多模态用户界面工具包的基准测试框架：比较模态覆盖、开发者工作流和实验支持
专题命中 多模态Agent ：multimodal(title,abstract)
AI总结 本文提出一个基于文档分析、技术比较和未来开发者评估的结构化基准框架，从模态覆盖、开发者体验和实验支持三个维度比较多模态用户界面工具包。
Comments 13 pages, 3 tables, 1 figure. Benchmarking framework paper revised and expanded from an HCI seminar draft
BotDirector：跨对称现实的多模态交互机器人讲故事
机构 * State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（国家一般人工智能重点实验室，BIGAI，北京，中国） ； Peking University, Beijing, China（北京大学，北京，中国）
专题命中 多模态Agent ：multi-modal(title)；分类 cs.AI
AI总结 提出一个结合具身交互和自然语言交互的机器人讲故事系统，利用LLM代理将儿童创建的叙事转化为自导航群体机器人的运动序列，支持灵活场景和日常物品。
Journal ref 2026 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW)
Traj-Evolve：用于肺癌早期检测中患者轨迹建模的自进化多智能体系统
机构 * University of Washington（华盛顿大学） ； Fred Hutch Cancer Center（Fred Hutch癌症中心） ； Google（谷歌）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 提出Traj-Evolve，一种结合经验池和多智能体强化学习的自进化多智能体系统，通过检索相似患者和参数优化，在肺癌早期检测中优于9个强基线模型。
从“是什么”到“怎么样”和“为什么”：与远程家庭成员共享老年人被动追踪数据的LLM生成回顾性摘要
机构 * Northeastern University（东北大学）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI
AI总结 本研究利用大型语言模型（LLM）从多模态追踪数据生成回顾性摘要，通过技术探针和访谈重新设计系统，显著提升了远程家庭成员对摘要的满意度、帮助性、信任和接收意愿，并提出了支持其从“是什么”到“怎么样”和“为什么”的认知转变的设计启示。
从提示到服务：基于SLM的AI驱动虚拟世界代理编排网关
机构 * University of Cambridge（剑桥大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出一种基于小语言模型的代理编排网关，通过意图驱动的服务路由解耦虚拟世界客户端与异构AI后端，并在虚拟博物馆测试床中验证了其可行性和效率。
Any2Poster: 跨模态和领域的任意源海报生成
机构 * Flower Mound High School（弗洛拉穆恩高中） ； University College London（伦敦大学学院） ； Princeton University（普林斯顿大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV
AI总结 提出Any2Poster Bench基准和Any2Poster Agent智能体，实现从多种输入模态和领域生成海报，并通过基于测验和视觉评估的方法验证信息保真度和视觉传达效果。
Comments Project Page: https://github.com/Any2Poster/Any2Poster
PEAM: 通过经验对比内化的参数化具身智能体记忆在Minecraft中的应用
机构 * Northwestern University（西北大学） ； Northeastern University（东北大学） ； South China University of Technology（华南理工大学） ； Hong Kong Baptist University（香港 Baptist大学） ； Beijing Normal - Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出PEAM框架，通过对比内化失败-纠正轨迹对，将经验转化为参数化技能，实现Minecraft中具身智能体的持续学习与高效执行。
MAVEN-T：用于实时多智能体轨迹预测的强化异构蒸馏
机构 * School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院） ； Bio-X Institutes, Key Laboratory for the Genetics of Developmental and Neuropsychiatric Disorders, Shanghai Jiao Tong University（上海交通大学Bio-X研究院、发育与神经精神疾病遗传学重点实验室） ； Shanghai Key Laboratory of Psychotic Disorders, Brain Science and Technology Research Center, Shanghai Jiao Tong University（上海精神疾病重点实验室、脑科学与技术研究中心，上海交通大学）
专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI
AI总结 提出MAVEN-T框架，通过高容量教师模型和紧凑学生模型的异构蒸馏，结合强化学习优化，实现实时多智能体轨迹预测，在多个数据集上达到高精度与低延迟。
Agent 的第一天：在工作场景中基准测试学习、探索和调度
机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI
AI总结 针对多模态大语言模型在动态工作场景中面临的任务调度、主动探索和持续学习三大挑战，提出动态评估环境 EvoEnv，实验表明现有 agent 在这些方面存在显著不足。
OpenEAI-Platform: 一个开源具身人工智能硬件-软件统一平台
机构 * Shanghai Innovation Institute（上海创新研究院） ； Huazhong University of Science and Technology（华中科技大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 多模态Agent ：multimodal(abstract)
AI总结 提出OpenEAI-Platform，集成低成本6+1自由度机械臂和可复现VLA模型，通过开源设计和两阶段训练在真实操作任务中超越商业臂，性能媲美大规模预训练基线。
使用人工智能模型进行系统辨识
专题命中 多模态Agent ：multimodal(abstract)
AI总结 本研究修改遗传算法和粒子群优化算法以适应系统辨识的多模态问题，并应用于感应电机参数辨识，结果表明粒子群优化算法在多模态问题上优于遗传算法。
Comments MSc. Thesis, Electrical Power and Machines Dept. Cairo University, Egypt, May 2007
融合之前，先问保留什么：多模态信号的上下文校准
机构 * Adelaide University（阿德莱德大学） ； Shandong University（山东大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；audio-visual(abstract)；分类 cs.MM、eess.AS
AI总结 提出一种紧凑的校准模块，在融合前对各模态特征进行实例级和维度级调制，抑制不可靠成分并增强上下文支持信号，提升多模态任务性能。
Comments 11 pages, 7 figures, 9 tables
Align-KD：为移动视觉语言模型增强提取跨模态对齐知识
机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University, China（通用人工智能国家重点实验室，智能科学与技术学院，北京大学，中国） ； Huawei Noah’s Ark Lab, China（华为诺亚方舟实验室，中国）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 提出Align-KD方法，通过蒸馏教师模型浅层跨模态对齐知识，指导1.7B学生模型学习视觉-文本匹配，在6个基准上平均提升2.0分。
Comments CVPR 2025 Paper
超越字面：多模态模因理解中的语用意图分解
机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei（华为） ； Central China Normal University（中央师范大学） ； Shenzhen University（深圳大学） ； King’s College London（伦敦国王学院） ； University of International Relations（国际关系大学）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CL
AI总结 针对大型视觉语言模型（LVLMs）在理解模因时倾向于描述字面内容而非语用意图的问题，提出Intent Projection框架，通过表示、输出和目标三层面的字面-语用分解，在六个基准上超越开源模型并缩小与专有模型的差距。
SMAC: 空间-模态联合建模与自适应表示崩溃的多模态目标跟踪
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 针对复杂光照下多模态多目标跟踪中空间与模态特征联合建模不足及固定融合策略适应性有限的问题，提出基于空间-模态卷积融合和蒸馏提示的多模态跟踪框架，通过解耦3D卷积、幅相分解和表示崩溃网络实现自适应融合，在UniRTL数据集上取得领先性能。
Comments 12 pages, 16 figures. Code and pretrained models are available at https://github.com/QitaiSun/SMAC
TriAlignGR：面向生成式推荐的多模态深度兴趣挖掘与三角多任务对齐
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)
AI总结 提出TriAlignGR统一多任务多模态框架，通过两阶段语义传播和三角多任务对齐，解决语义ID中的内容退化与语义不透明问题，实现生成式推荐。
基于结构化状态空间对偶性的跨模态特征融合多模态图像配准网络
机构 * Remote Sensing Image Processing and Fusion Group, School of Electronic Engineering, Xidian University（遥感图像处理与融合组，电子工程学院，西安电子科技大学） ； National Key Laboratory of Radar Signal Processing, Xidian University（雷达信号处理国家级实验室，西安电子科技大学）
专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV
AI总结 提出RegNetMamba-2算法，利用结构化状态空间对偶性（SSD）在粗到细匹配过程中提取局部和全局结构特征，通过跨模态交互和多尺度融合模块实现多模态图像配准，在多个数据集上取得高效性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈