多模态大模型

Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

多模态大语言模型用于低资源语言：巴斯克语的案例研究

Lukas Arana, Julen Etxaniz, Ander Salaberria, Gorka Azkune

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract)；image-text(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过开发巴斯克语多模态大语言模型，证明低比例多模态数据即可获得良好性能，且无需巴斯克语指导的LLM即可实现强模型。

LiteVLA-Edge: Quantized On-Device Multimodal Control for Embedded Robotics

LiteVLA-Edge: 量化在设备上多模态控制用于嵌入式机器人

Justin Williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar

机构 * Clark Atlanta University（克拉克阿特兰大学） ； Siemens Corporation（西门子公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 LiteVLA-Edge通过量化和GPU加速，在嵌入式机器人中实现低延迟的多模态控制，提供模块化本地执行方案。

GENAI WORKBENCH: AI-Assisted Analysis and Synthesis of Engineering Systems from Multimodal Engineering Data

GenAI Workbench: 人工智能辅助从多模态工程数据中分析和合成工程系统

H. Sinan Bank, Daniel R. Herber

机构 * Colorado State University（科罗拉多州立大学） 纠错

专题命中 图文多模态 ：multimodal(title)；分类 cs.AI

AI总结 GenAI Workbench通过整合AI技术，实现从多模态工程数据中辅助分析和合成工程系统，促进更集成和数据驱动的工程设计方法。

Comments 7 pages, 3 figures, accepted to be presented at IISE Annual Conference 2026

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Vision-Zero: 通过战略化游戏化自play实现可扩展的VLM自改进

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Vision-Zero通过战略化游戏化自play框架，实现无标注数据下的多模态模型自改进，提升推理与跨领域任务性能。

Comments ICLR 2026

An Effective Data Augmentation Method by Asking Questions about Scene Text Images

通过提问场景文本图像来实现有效的数据增强方法

Xu Yao, Lei Kang

机构 * Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出了一种基于问答的场景文本数据增强方法，通过生成字符级问题提升OCR模型的推理能力，实验表明在WordArt和Esposalles数据集上有效降低了CER和WER。

Comments Accepted to ICASSP 2026

Lightweight Visual Reasoning for Socially-Aware Robots

轻量级视觉推理用于社交感知机器人

Alessio Galatolo, Ronald Cumbal, Alexandros Rouchitsas, Katie Winkle, Didem Gürdür Broo, Ginevra Castellano

机构 * Department of Information Technology, Uppsala University（信息科技系，乌普萨拉大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本研究提出了一种轻量级视觉推理模块，用于提升社交感知机器人在复杂人机交互中的表现，通过闭环反馈机制增强机器人对动态人类行为的理解和响应能力。

Comments ICRA26

SoraNav: Adaptive UAV Task-Centric Navigation via Zeroshot VLM Reasoning

SoraNav: 通过零样本VLM推理实现适应性无人机任务导向导航

Hongyu Song, Rishabh Dev Yadav, Cheng Guo, Wei Pan

机构 * Department of Computer Science, The University of Manchester（计算机科学系，曼彻斯特大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)

AI总结 SoraNav通过零样本VLM推理实现无人机任务导向导航，解决空间-语义差距问题，提升导航成功率与效率。

Logit-Level Uncertainty Quantification in Vision-Language Models for Histopathology Image Analysis

视觉-语言模型在病理图像分析中的logit级不确定性量化

Betul Yurdem, Ferhat Ozgur Catak, Murat Kuzlu, Mehmet Kemal Gullu

机构 * Department of Electrical and Electronics Engineering, Izmir Bakircay University（电气与电子工程系，伊兹密尔巴克伊大学） ； Department of Electrical Engineering and Computer Science, University of Stavanger（电气工程与计算机科学系，斯塔万格大学） ； Batten College of Engineering and Technology, Old Dominion University（工程与技术学院，老奥布良大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本研究提出了一种基于VLMs的logit级不确定性量化框架，用于评估病理图像分析中模型的可靠性与安全性。

Comments 10 pages, 6 figures, 4 tables

Crab$^{+}$: A Scalable and Unified Audio-Visual Scene Understanding Model with Explicit Cooperation

Crab$^{+}$: 一种可扩展且统一的音频视觉场景理解模型，具有显式合作

Dongnuan Cai, Henghui Du, Chang Zhou, Xi Chen, Dan Guo, Hongyuan Zhang, Xuelong Li, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Institute of Artificial Intelligence of China Telecom (TeleAI)（中国电信人工智能研究院） ； AI Technology Center, Online Video Business Unit, Tencent PCG（腾讯PCG在线视频业务单元AI技术中心） ； Hefei University of Technology（合肥工业大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 Crab$^{+}$通过显式合作解决音频视觉任务异质性问题，实现更广泛的任务覆盖和优于单任务模型的性能表现。

Robust LLM-based Audio-Visual Speech Recognition with Sparse Modality Alignment and Visual Unit-Guided Refinement

鲁棒的基于大语言模型的音频视觉语音识别与稀疏模态对齐和视觉单元引导的细化

Fei Su, Cancan Li, Juan Liu, Wei Ju, Hongbin Suo, Ming Li

机构 * School of Computer Science, Wuhan University, China（武汉大学计算机学院） ； School of Artificial Intelligence, Wuhan University, China（武汉大学人工智能学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院） ； AI Center, OPPO, China（OPPO人工智能中心） ； Digital Innovation Research Center, Duke Kunshan University, China（杜克大学昆山数字创新研究中心） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；cross-modal(abstract)；分类 cs.MM、eess.AS

AI总结 本文提出AVUR-LLM，通过稀疏模态对齐和视觉单元引导细化，提升音频视觉语音识别的鲁棒性，在LRS3数据集上取得显著性能提升。

Comments submitted to Interspeech 2026

LadderSym: A Multimodal Interleaved Transformer for Music Practice Error Detection

LadderSym: 一种用于音乐练习错误检测的多模态交错Transformer

Benjamin Shiue-Hal Chou, Purvish Jajal, Nick John Eliopoulos, James C. Davis, George K. Thiruvathukal, Kristen Yeon-Ji Yun, Yung-Hsiang Lu

机构 * Purdue University（普渡大学） ； Loyola University Chicago（芝加哥洛约拉大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 LadderSym通过双流编码器和多模态策略提升音乐练习错误检测的F1分数，显著提高遗漏和额外音符的识别准确率。

Comments Accepted to ICLR 2026

Point2Act: Efficient 3D Distillation of Multimodal LLMs for Zero-Shot Context-Aware Grasping

Point2Act: 多模态大语言模型的高效3D蒸馏用于零样本情境感知抓取

Sang Min Kim, Hyeongjun Heo, Junho Kim, Yonghyeon Lee, Young Min Kim

机构 * Seoul National University（首尔国立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；MLLM(abstract)

AI总结 Point2Act通过多模态大语言模型高效蒸馏实现零样本情境感知抓取，生成空间定位响应以支持实际操作任务。

Comments Accepted to ICRA 2026

FocusGraph: Graph-Structured Frame Selection for Embodied Long Video Question Answering

FocusGraph: 用于具身长视频问答的图结构帧选择

Tatiana Zemskova, Solomon Andryushenko, Ilya Obrubov, Viktoriia Khoruzhaia, Ekaterina Eroshenko, Ekaterina Derevyanka, Dmitry Yudin

机构 * AXXX ； MIRAI ； Yandex ； FusionBrain Lab（FusionBrain实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 FocusGraph通过图结构帧选择和轻量级模型实现高效长视频问答，提升性能并减少推理时间。

PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

PRAM-R：一种具有LLM引导模态路由的感知-推理-行动-记忆框架，用于自适应自动驾驶

Yi Zhang, Xian Zhang, Saisi Zhao, Yinglei Song, Chengdong Wu, Nenad Petrovic, Alois Knoll

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 PRAM-R通过LLM引导的模态路由和分层记忆模块，实现高效自适应的多模态感知，提升自动驾驶的稳定性和效率。

Sim2Sea: Sim-to-Real Policy Transfer for Maritime Vessel Navigation in Congested Waters

Sim2Sea: 用于拥挤水域船舶导航的仿真到现实策略迁移

Xinyu Cui, Xuanfa Jin, Xue Yan, Yongcheng Zeng, Luoyang Sun, Siying Wei, Ruizhi Zhang, Jian Zhao, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Zhongguancun Academy（中关村学院） ； University College London（伦敦大学学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 Sim2Sea通过GPU加速模拟器、双流时空策略和领域随机化方案，实现了拥挤水域中船舶自主导航的仿真到现实策略迁移。

RIVER: A Real-Time Interaction Benchmark for Video LLMs

RIVER：面向视频大语言模型的实时交互基准

Yansong Shi, Qingsong Zhao, Tianxiang Jiang, Xiangyu Zeng, Yi Wang, Limin Wang

机构 * School of Information Science And Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） ； State Key Lab of Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 RIVER基准通过引入实时交互任务框架，改进视频大语言模型的实时交互能力，提升长期记忆与未来感知表现。

Segment-to-Act: Label-Noise-Robust Action-Prompted Video Segmentation Towards Embodied Intelligence

基于动作的视频分割：面向具身智能的标签噪声鲁棒动作引导分割

Wenxin Li, Kunyu Peng, Di Wen, Ruiping Liu, Mengfei Duan, Kai Luo, Kailun Yang

机构 * School of Artificial Intelligence and Robotics and the National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University, China（人工智能与机器人学院及机器人视觉感知与控制技术国家工程研究中心，湖南大学，中国） ； Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology, Germany（人机学与机器人研究所，卡尔斯鲁厄理工学院，德国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究首次探索基于动作的视频对象分割在标签噪声下的鲁棒性，引入两种噪声类型并提出并行掩码头机制以提升分割性能。

Comments Accepted to ICRA 2026. The established benchmark and source code will be made publicly available at https://github.com/mylwx/ActiSeg-NL

ArthroCut: Autonomous Policy Learning for Robotic Bone Resection in Knee Arthroplasty

ArthroCut：膝关节置换术中机器人骨切除的自主策略学习

Xu Lu, Yiling Zhang, Wenquan Cheng, Longfei Ma, Fang Chen, Hongen Liao

机构 * School of Biomedical Engineering, Tsinghua University（清华大学生物医学工程学院） ； School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院） ； Longwood Valley MedTech 纠错

专题命中 视频多模态 ：multimodal(abstract)

AI总结 ArthroCut通过结合术前和术中数据，实现膝关节置换术中骨切除的自主策略学习，提升机器人手术的自主性和可解释性。

Comments Accepted for publication at the 2026 IEEE International Conference on Robotics and Automation (ICRA)

Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions

基于图像的提示注入：通过视觉嵌入的对抗性指令劫持多模态大语言模型

Neha Nagaraja, Lan Zhang, Zhilong Wang, Bo Zhang, Pawan Patil

机构 * Northern Arizona University（北亚利桑那大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究提出基于图像的提示注入攻击方法，通过视觉嵌入对抗性指令，成功操控多模态大语言模型输出，揭示了该攻击的有效性和潜在威胁。

Comments 7 pages, published in 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria

Journal ref 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria, 2025, pp. 916-922

TRACE: Task-Adaptive Reasoning and Representation Learning for Universal Multimodal Retrieval

TRACE：面向通用多模态检索的任务自适应推理与表征学习

Xiangzhao Hao, Shijie Wang, Tianyu Yang, Tianyue Wang, Haiyun Guo, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TRACE通过结合生成推理与判别表征学习，实现通用多模态检索中的任务自适应推理，提升检索准确率与推理效率，同时具备强零样本迁移能力。

Topological Alignment of Shared Vision-Language Embedding Space

共享视觉-语言嵌入空间的拓扑对齐

Junwon You, Dasol Kang, Jae-Hun Jung

机构 * Department of Mathematics, POSTECH（POSTECH数学系） ； BootCamp, Google（Google BootCamp） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 ToMCLIP通过拓扑对齐方法提升多语言视觉-语言模型的结构一致性和零样本性能

Comments 27 pages, 5 figures, 24 tables

RAGTrack: Language-aware RGBT Tracking with Retrieval-Augmented Generation

RAGTrack: 基于检索增强生成的语言感知RGBT跟踪

Hao Li, Yuhao Wang, Wenning Hao, Pingping Zhang, Dong Wang, Huchuan Lu

机构 * College of Command and Control Engineering, Army Engineering University of PLA（中国人民解放军陆军工程大学指挥控制工程学院） ； School of Future Technology, Dalian University of Technology（大连理工大学未来技术学院） ； School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 RAGTrack通过引入语言指导的检索增强生成框架，解决RGBT跟踪中外观变化和模态间隙问题，实现稳健的目标定位。

Comments This work is accepted by CVPR2026. More modifications may be performed

FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

通过对比学习增强归一化流用于异常分割

Chang Won Lee, Selina Leveugle, Svetlana Stolpner, Chris Langley, Paul Grouchy, Jonathan Kelly, Steven L. Waslander

机构 * University of Toronto（多伦多大学） ； MDA Space（MDA空间） 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CV

AI总结 FlowCLAS通过对比学习增强归一化流，有效提升异常分割性能，达到多个机器人异常分割基准的最先进水平。

Comments WACV 2026 Camera Ready

Dynamic Adversarial Reinforcement Learning for Robust Multimodal Large Language Models

动态对抗强化学习用于鲁棒多模态大语言模型

Yicheng Bao, Xuhong Wang, Qiaosheng Zhang, Chaochao Lu, Xia Hu, Xin Tan

机构 * East China Normal University（东华大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本文提出AOT方法，通过对抗训练提升多模态大语言模型的鲁棒性和可靠性。

Dual Diffusion Models for Multi-modal Guided 3D Avatar Generation

多模态引导的3D人像生成双扩散模型

Hong Li, Yutang Feng, Minqi Meng, Yichen Yang, Xuhui Liu, Baochang Zhang

机构 * Beihang University（北航大学） ； KAUST（卡塔尔科技大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文提出PromptAvatar，通过双扩散模型实现多模态引导的3D人像生成，提升生成质量与效率。

Comments 18 pages, 10 figures

Generating Fine Details of Entity Interactions

生成实体交互的细节

Xinyi Gu, Jiayuan Mao

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种基于多模态大语言模型的方法，通过分解和细化过程提升图像中实体交互细节的生成质量。

Comments EMNLP 2025. Project Page: https://detailscribe.github.io/

InEdit-Bench: Benchmarking Intermediate Logical Pathways for Intelligent Image Editing Models

InEdit-Bench：智能图像编辑模型中间逻辑路径的基准测试

Zhiqiang Sheng, Xumeng Han, Zhiwei Zhang, Zenghui Xiong, Yifan Ding, Aoxiang Ping, Xiang Li, Tong Guo, Yao Mao

机构 * State Key Laboratory of Optical Field Manipulation Science and Technology, Institute of Optics and Electronics, Chinese Academy of Sciences（光学场操控科学与技术国家重点实验室，光学电子研究所，中国科学院） ； National Laboratory on Adaptive Optics（自适应光学国家实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 InEdit-Bench通过评估图像编辑模型在中间逻辑路径推理中的表现，揭示了现有模型在动态推理和多步骤演变建模方面的不足，推动更智能的多模态生成模型发展。

Comments CVPR findings. Project page: https://github.com/SZStrong1/InEdit-Bench

Factuality Matters: When Image Generation and Editing Meet Structured Visuals

事实性至关重要：当图像生成与编辑遇见结构化视觉

Le Zhuo, Songhao Han, Yuandong Pu, Boxiang Qiu, Sayak Paul, Yue Liao, Yihao Liu, Jie Shao, Xi Chen, Si Liu, Hongsheng Li

机构 * CUHK MMLab（香港大学多模态实验室） ； Beihang University（北京航空航天大学） ； Krea AI（Krea人工智能） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； Hugging Face ； National University of Singapore（新加坡国立大学） ； ByteDance（字节跳动） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种统一模型，通过整合视觉语言模型和FLUX.1 Kontext，提升结构化视觉生成与编辑的多模态理解与事实准确性。

Comments Accepted by ICLR 2026, Project page: https://structvisuals.github.io

HyperParallel: A Supernode-Affinity AI Framework

HyperParallel：一种超节点亲和性AI框架

Xin Zhang, Beilei Sun, Teng Su, Qinghua Zhang, Chong Bao, Lei Chen, Xuefeng Jin

专题命中 多模态生成 ：multimodal(abstract)

AI总结 HyperParallel框架通过超节点亲和性设计，提升AI训练和推理效率，降低编程复杂度和系统调优开销。

CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

CAD-Tokenizer: 向基于文本的CAD原型设计迈进：通过模态特定的分词

Ruiyu Wang, Shizhao Sun, Weijian Ma, Jiang Bian

机构 * University of Toronto（多伦多大学） ； Microsoft Research Asia（微软亚洲研究院） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 CAD-Tokenizer通过模态特定的分词策略，提升文本引导的CAD原型设计效率与生成质量。

Comments ICLR2026 Camera-ready version