多模态大模型

A fine-grained attention and geometric correspondence model for musculoskeletal risk classification in athletes using multimodal visual and skeletal features

基于多模态视觉和骨骼特征的运动员肌肉骨骼风险分类的细粒度注意力与几何对应模型

Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Tamanna Shermin, Md Rafiqul Islam, Mukhtar Hussain, Sami Azam

机构 * Department of Computer Science and Engineering, United International University（计算机科学与工程系，国际联合大学） ； Department of Data Science and Artificial Intelligence, Monash University（数据科学与人工智能系，墨尔本大学） ； Faculty of Science and Technology, Charles Darwin University（科学与技术学院，查尔斯达尔文大学） ； Applied Artificial Intelligence and Intelligent Systems (AAIINS) Laboratory, Dhaka（应用人工智能与智能系统实验室，达卡） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出ViSK-GAT多模态框架，融合图像和骨骼坐标特征，通过细粒度注意力模块和几何对应模块实现运动员肌肉骨骼风险八级分类，关键指标超93%。

Comments Published in Computers and Electrical Engineering

Journal ref Computers and Electrical Engineering, Vol. 138, 111281, 2026

A Multimodal RGB and Events Dataset for Hand Detection in First-Person View

第一人称视角下用于手部检测的多模态RGB和事件数据集

Bharghav Kota, Yulia Sandamirskaya

机构 * Zurich University of Applied Sciences（苏黎世应用科技大学） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 针对移动机器人系统中传统相机在暗光下运动模糊的问题，提出利用事件相机与RGB相机结合的多模态手部检测方法，并通过合成事件数据集实现与现有方法相当的性能。

WHU-Infra3D: A Full-stack Multi-modal Dataset and Benchmark for 3D Roadside Infrastructure Inventory

WHU-Infra3D：面向3D路边基础设施清单的全栈多模态数据集与基准

Chong Liu, Luxuan Fu, Xuyu Feng, Zhen Dong, Bisheng Yang

机构 * State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (LIESMARS)（信息工程测绘遥感国家重点实验室） ； Wuhan University（武汉大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出WHU-Infra3D多模态基准数据集，覆盖三城市53.8公里，融合全景图像与LiDAR点云，提供2D-3D实例关联和跨帧跟踪，支持基础设施状态诊断与属性识别，填补自动化维护数据集空白。

AudioProcessBench: Benchmark for Identifying Process Errors in Audio-Grounded Reasoning

AudioProcessBench: 音频基础推理中过程错误识别的基准

Xiangyu Zhao, Junyu Yan, Yaling Shen, Zimu Wang, Yiwen Jiang, Stephanie Fong, Qingyang Xu, Jiahe Liu, Dominic Dwyer, Zongyuan Ge

机构 * Monash University（墨尔本大学） ； Xi’an Jiaotong-Liverpool University（西安交通大学-利物浦大学） ； Orygen（Orygen研究所） ； University of Melbourne（墨尔本大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；omni-modal(abstract)

AI总结 提出AudioProcessBench基准，用于评估音频-语言模型在推理步骤中的过程错误识别能力，涵盖步骤正确性、错误类型检测和链级聚合三种范式。

ChartREG++: Towards Benchmarking and Improving Chart Referring Expression Grounding under Diverse referring clues and Multi-Target Referring

ChartREG++：面向多样化指代线索和多目标指代的图表指代表达式定位基准与改进

Tianhao Niu, Ziyu Han, Xuan Dong, Qingfu Zhu, Wanxiang Che

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对现有图表指代表达式定位基准的局限，提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准，并利用代码驱动合成流水线生成像素级实例掩码，训练实例分割模型集成到多模态定位框架，显著提升性能。

Do VLMs Reason Like Engineers? A Benchmark and a Stage-wise Evaluation

视觉语言模型像工程师一样推理吗？一个基准测试与分阶段评估

Syed Wasiq, Syed Mohamad Tawseeq, Yashwant Pravinrao Bangde, Debaditya Roy

机构 * Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出工程视觉问答基准EngVQA和8阶段自动评估框架，揭示当前视觉语言模型在工程推理中的显著局限，并验证了自动化评估与人工评分的高度一致性。

Comments 9 pages (main text), 4 figures, 2 tables; 50 pages total including appendix. The first two authors contributed equally

Sigma-Branch: Hierarchical Single-Path Network Reconstruction for Dynamic Inference with Reduced Active Parameters

Sigma-Branch: 用于动态推理的分层单路径网络重构，减少活跃参数

Kohga Tanaka, Hiroaki Nishi

机构 * Graduate School of Science and Technology, Keio University（Keio大学理工学院） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出Sigma-Branch框架，通过分层二叉树结构将预训练密集网络重构为共享主干、分层路由器和专用叶子，利用激活聚类初始化并微调，推理时仅执行单一路径，在CIFAR-100/ResNet-50等任务上减少58-60%活跃参数，性能损失小于1.72个百分点。

Culturally uneven urban perception in large language models

大型语言模型通过文化不平等的基线感知城市

Rong Zhao, Wanqi Liu, Zhizhou Sha, Nanxi Su, Yecheng Zhang, Ying Long

机构 * Centre for Advanced Spatial Analysis (CASA), UCL, London, UK（高级空间分析中心（CASA），伦敦大学学院，英国） ； School of Architecture, Tsinghua University, Beijing, China（清华大学建筑学院，北京，中国） ； Department of Computer Science, UT Austin, Austin, TX, USA（得克萨斯大学奥斯汀分校计算机科学系，奥斯汀，德克萨斯，美国） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究通过全球平衡的街景样本测试前沿LLM的城市感知，发现中性提示实际上偏向欧美文化，且文化提示能改变情感评价但无法恢复人类语义多样性。

GCA Framework: A GCC Countries-Grounded Dataset and Agentic Pipeline for Climate Decision Support

GCA框架：面向海湾合作委员会国家的数据集与气候决策支持智能体管道

Muhammad Umer Sheikh, Khawar Shehzad, Salman Khan, Fahad Shahbaz Khan, Muhammad Haris Khan

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（莫扎德人工智能大学） ； University of Missouri（密苏里大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 提出GCA框架，包含GCC国家多模态数据集GCA-DS和工具增强型智能体GCA，通过领域微调和工具集成提升气候决策可靠性。

ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering

ChartAgent: 一种用于复杂图表问答中视觉基础推理的多模态智能体

Rachneet Kaur, Nishan Srishankar, Zhen Zeng, Sumitra Ganesh, Manuela Veloso

机构 * J.P. Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出ChartAgent框架，通过迭代分解查询为视觉子任务并利用图表专用视觉工具（如绘制注释、裁剪区域）进行空间域推理，在ChartBench和ChartX上取得最先进性能，尤其对无标注图表提升显著。

Comments Accepted at ACL 2026 (Main Conference). Also presented as an oral paper at the NeurIPS 2025 Multimodal Algorithmic Reasoning Workshop (https://marworkshop.github.io/neurips25/)

Data Journalist Agent: Transforming Data into Verifiable Multimodal Stories

数据记者智能体：将数据转化为可验证的多模态故事

Kevin Qinghong Lin, Batu EI, Yuhong Shi, Pan Lu, Philip Torr, James Zou

机构 * University of Oxford（牛津大学） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出多智能体框架Data2Story，通过证据链验证声明并自动生成多模态文章，在18篇文章上评估，证明其在透明性和可审计性上接近人类记者。

Comments Project page: https://data2story.github.io Github: https://github.com/QinghongLin/data2story-skill

A History-Aware Visually Grounded Critic for Computer Use Agents

面向计算机使用代理的历史感知视觉基础批评家

Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。

Comments Code: https://github.com/G-JWLee/HiViG

Beyond APIs: Probing the Limits of MLLMs in Physical Tool Use

超越API：探索多模态大语言模型在物理工具使用中的极限

Zhixin Ma, Yutong Zhou, Yongqi Li, Chong-Wah Ngo, Wenjie Li

机构 * Singapore Management University（新加坡管理大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出PhysTool-Bench基准，评估多模态大语言模型在真实场景中识别物理工具并规划使用的能力，发现最强模型仅完成21%任务，揭示感知与规划双重缺陷。

Exploration of Foundation Model-Based Robots in Patient and Elderly Care

基于基础模型的机器人在患者和老年人护理中的探索

Zhiwen Qiu, Wei Liu, Yuexing Hao

机构 * Cornell University（康奈尔大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了基于基础模型的护理机器人在设计特征、用户体验和护理效果方面的现状，指出当前系统多用于语音交互，多模态和物理自主性有限，并呼吁向护理特定评估标准和负责任自主性发展。

Baichuan-M4: A Clinical-Grade Medical Agent System for Continuous Care

Baichuan-M4：面向持续照护的临床级医疗智能体系统

Aiyuan Yang, Canbin Piao, Chengfeng Dou, Da Pan, Dian Wang, Fan Yang, Fei Deng, Fei Li, Guangwei Ai, Hui Liu, Hongda Zhang, Jinyang Tai, Kai Lu, Lijun Liu, Linwei Chen, Linyu Li, Meiqing Guo, Peidong Guo, Qiang Ju, Rihui Xin, Shuai Wang, XinKai Ma, Xudong Chen, Yichuan Mo, Yijie Zhou, Leyi Pan, Yihe Luo, Zian Wang

机构 * Baichuan AI（百川智能） ； THUBPM Group, Tsinghua University（清华大学THUBPM课题组） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Baichuan-M4临床级医疗大模型，通过统一运行时、持续照护强化学习框架和临床工具层三大支柱构建智能体系统，在多项医疗评估中取得领先结果，幻觉率降至3.3%。

Super-Resolution Structured-Illumination X-Ray Microscopy based on Fourier Decomposition

基于傅里叶分解的超分辨结构照明X射线显微镜

Stefan Schwaiger, Lennart Forster, Martin Dierolf, Franz Pfeiffer, Benedikt Günther

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出一种超分辨X射线显微镜方法，通过结构照明编码高频信息，利用傅里叶分解解码，实现2.2倍分辨率提升，并扩展至显微断层成像，同时获取相位衬度和暗场图像。

RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification

RespiraMFM：一种用于呼吸道疾病识别的对比音频-语言对齐多模态基础模型

Shakhrul Iman Siam, Tiantian Feng, Jiankun Zhang, Shrikanth Narayanan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Southern California（南加州大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；cross-modal(abstract)

AI总结 提出RespiraMFM多模态基础模型，通过对比音频-文本对齐策略整合呼吸音与临床信息，在监督和零样本任务中分别提升AUROC 9.15%和20.98%。

Comments ACL 2026 Main Conference

Mitigating Manifold Departure: Uncertainty-Aware Subspace Rectification for Trustworthy MLLM Decoding

缓解流形偏离：面向可信MLLM解码的不确定性感知子空间校正

Yingxuan Zhuang, Jingxiao Yang, Miao Pan, Cheng Tan, Yuxiang Cai, Siwei Tan, Chen Zhi, Xuhong Zhang, Jianwei Yin, Jintao Chen

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出MGAP方法，通过SVD构建语言先验子空间并自适应衰减投影分量，在抑制幻觉的同时保持语义结构，优于现有解码基线。

Comments ICML 2026 regular

A Unified Multi-Modal Framework for Intelligent Financial Systems: Integrating Reinforcement Learning, High-Frequency Trading, and Game-Theoretic Approaches with Cross-Modal Sentiment Analysis

面向智能金融系统的统一多模态框架：整合强化学习、高频交易和博弈论方法与跨模态情感分析

Fanrong Liu, Zhang Yuwei, Mingni Luo

机构 * Henan University, International Eurasia College（河南大学，国际欧亚学院） ； City University of Hong Kong, College of Business（香港城市大学，商学院） ； Northeastern University, School of Electronic and Information Engineering（东北大学，电子与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(title)；分类 cs.AI

AI总结 提出统一框架整合PPO、高频预测、上下文学习、博弈论和跨模态情感分析，在多个金融任务上平均提升20%以上性能。

Cross-Modal Knowledge Distillation without Paired Data: Theoretical Foundation and Algorithm

无配对数据的跨模态知识蒸馏：理论基础与算法

Trong Khiem Tran, Anh Duc Chu, Quang Hung Pham, Phi Le Nguyen, Trong Nghia Hoang

机构 * School of Information and Communications Technology, Hanoi University of Science and Technology, Hanoi, Vietnam（信息与通信技术学院，河内科学技术大学，越南河内） ； School of Electrical Engineering and Computer Science, Washington State University, Pullman, US（电气工程与计算机科学学院，华盛顿州立大学，华盛顿州普尔曼） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 提出无配对数据下的跨模态知识蒸馏框架，通过特征对齐和标签对齐两种分布对齐机制，实现跨模态知识迁移，理论保证且实验效果显著。

ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations

ARM: 一种具有统一离散表示的自回归大型多模态模型

Junke Wang, Xiao Wang, Jiacheng Pan, Xuefeng Hu, Feng Li, Jingxiang Sun, Chaorui Deng, Zilong Chen, Yunpeng Chen, Kaibin Tian, Matthew Gwilliam, Hao Chen, Danhui Guan, Kun Xu, Weilin Huang, Zuxuan Wu, Haoqi Fan, Yu-Gang Jiang, Zhenheng Yang

机构 * Shanghai Key Lab of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室） ； School of Computer Science, Fudan University（复旦大学计算机科学技术学院） ； Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Youtu Lab, Tencent（腾讯优图实验室） ； Meta AI ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出ARM模型，通过离散语义视觉分词器将图像映射为紧凑token序列，结合自回归建模和强化学习，统一实现图像理解、生成和编辑，并提升任务性能与跨任务协同。

Comments technical report

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

每个多模态证据一个令牌：面向资源受限问答的潜在记忆

Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出潜在记忆范式，将每个证据压缩为单个高维潜在令牌，通过统一训练实现高效检索与生成，在资源受限场景下以3-10倍令牌节省达到竞争性问答性能。

5% > 100%: Flatness Preference is All You Need for Multimodal Parameter-Efficient Fine-Tuning

5% > 100%: 平坦性偏好是您进行多模态参数高效微调所需的一切

Yifan Zhu, Can Lin, Hangjie Yuan, Zixiang Zhao, Pengfei Zhang, Tao Feng, Zhonghong Ou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang University（浙江大学） ； ETH Zürich（苏黎世联邦理工学院） ； Anhui University of Science and Technology（安徽理工大学） ； Tsinghua University（清华大学） ； State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 揭示参数高效微调方法中普遍存在的平坦性偏好，即少量尖锐维度主导泛化，并提出FlatPO方法优化这些维度以提升泛化性能。

Unsupervised Multimodal Graph-based Model for Geo-social Analysis

无监督多模态图模型用于地理社交分析

Ehsaneddin Jalilian, Bernd Resch

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出无监督多模态图模型，整合语义与地理信息，提升灾难管理和舆论监控中的内容分析效果。

Fusing Satellite Imagery and Planimetric Maps for Cross-View Localization

融合卫星图像与平面地图的跨视角定位

Quang Long Ho Ngo, Zimin Xia, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院洛桑校区） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出一种融合卫星图像与平面地图的模块，通过跨模态条件化和补丁级融合规则，将定位误差降低30.13%。

Let ViT Speak: Generative Language-Image Pre-training

让ViT说话：生成式语言-图像预训练

Yan Fang, Mengcheng Lan, Zilong Huang, Weixian Lei, Yunqing Zhao, Yujie Zhong, Yingchen Yu, Qi She, Yao Zhao, Yunchao Wei

机构 * Beijing Jiaotong University（北京交通大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 提出GenLIP框架，通过语言建模目标直接训练ViT从视觉token预测语言token，无需对比学习或额外文本解码器，实现简单、可扩展且性能优异的视觉编码器。

Comments 27 pages, 11 figures. Code and models are available at https://github.com/YanFangCS/GenLIP

KFC-KWS: Keyframe Fusion with CTC for User-Defined Keyword Spotting

KFC-KWS: 基于CTC的关键帧融合用于用户自定义关键词唤醒

Jin Li, Wenbin Jiang, Ji Hu

机构 * School of Electronics and Information Engineering, Hangzhou Dianzi University（杭州电子科技大学电子信息学院） ； School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出KFC-KWS多模态框架，利用CTC引导的关键帧选择对齐音频、音素和文本模态，通过交叉注意力融合关键帧与全句表示，在LibriPhrase上达到98.73% AUC，困难子集上97.65% AUC和7.75% EER，有效区分易混淆关键词。

Comments Accepted by Interspeech 2026

Spatiotemporal Graph Transformer for 3D Neighborhood Interaction and Quality Prediction in Metal Additive Manufacturing

时空图Transformer用于金属增材制造中的3D邻域交互与质量预测

Joyce Karen Pelaez, Siqi Zhang, Hoo Sang Ko

机构 * Department of Industrial Engineering（工业工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 提出一种时空图Transformer，通过加权网络表示和双注意力机制建模3D邻域交互，显著提升金属增材制造质量预测性能。

Comments Submitted to Journal of Intelligent Manufacturing, 23 pages, 10 figures, 2 tables

Domain Adapted Large Language Models for Additive Manufacturing

面向增材制造的领域自适应大语言模型

Peter Pak, Amir Barati Farimani

机构 * Department of Mechanical Engineering, Carnegie Mellon University（机械工程系，卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)

AI总结 本文通过约5000万token的小型数据集对开源大语言模型进行领域自适应预训练和指令微调，构建多模态领域自适应模型，在增材制造基准测试中达到90%以上准确率。

GRAR: Glass-induced Reflection Artifact Removal in LiDAR Point Clouds

GRAR: LiDAR点云中玻璃引起的反射伪影去除

Wanpeng Shao, Zeyi Guo, Bo Zhang, Yifei Xue, Tie Ji, Yizhen Lao

机构 * College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； School of Design, Hunan University（湖南大学设计学院） ； School of Finance and Statistics, Hunan University（湖南大学金融与统计学院） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出两阶段框架，先利用多模态视觉基础模型和几何线索精确分割玻璃区域，再基于物理驱动的反射感知局部-全局几何相似性描述符去除反射伪影，在多个公开数据集上优于现有方法。