多模态大模型

Universal Skeleton Understanding via Differentiable Rendering and MLLMs

通过可微渲染和大语言模型实现通用骨架理解

Ziyi Wang, Peiming Li, Xinshun Wang, Yang Tang, Kai-Kuang Ma, Mengyuan Liu

机构 * State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School, China（人工智能通用基础理论国家重点实验室，北京大学深圳研究生院，中国） ； Tencent（腾讯） ； Nanjing University of Aeronautics（南京航空航天大学） 纠错

专题命中 图文多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出SkeletonLLM，通过可微渲染将任意骨架序列转换为大语言模型的视觉模态，实现通用骨架理解，同时引入协同训练策略提升推理能力，展示了在开放词汇动作识别中的强泛化能力，并扩展到异构骨架格式的运动描述和问答任务。

Comments Accepted by ICML 2026

Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow

通过跨模态信息流解读并增强大视觉-语言模型中的情感电路

Chengsheng Zhang, Chenghao Sun, Zhining Xie, Xinmei Tian

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception（脑启发智能感知与认知MOE实验室） ； Cognition, University of Science（认知，科学大学） ； AIPD, Tencent（AIPD，腾讯） 纠错

专题命中 图文多模态 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于转向向量的因果归因框架，用于描述性情感推理，通过构建专用数据集揭示了三阶段'适应-聚合-执行'机制下的情感电路，发现视觉情感线索在中间层通过情感特定的注意力头进行聚合，随后在深层通过情感通用路径转换为叙述生成，并通过调控情感信息路由增强注意力流和语义激活，从而提升性能并缓解情感幻觉。

Comments Accepted by ICML 2026

Circle-RoPE: Cone-like Decoupled Rotary Positional Embedding for Large Vision-Language Models

Circle-RoPE: 用于大视觉-语言模型的锥形解耦旋转位置嵌入

Chengcheng Wang, Jianyuan Guo, Hongguang Li, Yuchuan Tian, Ying Nie, Chang Xu, Kai Han

机构 * Huawei Noah's Ark Lab.（华为诺亚实验室） ； City University of Hong Kong.（香港城市大学） ； University of Sydney.（悉尼大学） ； State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（北京大学人工智能国家重点实验室，智能科学与技术学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Circle-RoPE，通过将图像标记坐标映射到与文本位置轴正交的圆环上，实现跨模态位置解耦，同时保留图像内部空间结构，并通过交替几何编码增强跨模态位置解耦和细粒度图像空间结构保留。

Comments Accepted at ICML 2026

GLeVE: Graph-Guided Lesion Grounding with Proposal Verification in 3D CT

GLeVE: 在3D CT中基于图的病变接地与提案验证

Shuo Jiang, Yuhao Hong, Chunbo Jiang, Weihong Chen, Huangwei Chen, Shenghao Zhu, Beining Wu, Mingxuan Liu, Zhu Zhu, Feiwei Qin, Min Tan, Yifei Chen

机构 * Zhejiang Key Laboratory of Space Information Sensing and Transmission（浙江空间信息感知与传输重点实验室） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Children's Hospital, Zhejiang University School of Medicine（浙江大学医学院附属儿童医院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 本文提出GLeVE框架，通过图引导的病变接地和解剖学先验验证，解决3D CT中自由文本叙述与体积解剖之间的语义-空间差距问题，提升病变定位的准确性。

Comments 11 pages, 4 figures

Exposing Vulnerabilities in Visible-Infrared VLMs: A Unified Geometric Adversarial Framework with Cross-Task Transferability

揭示可见-红外VLMs中的漏洞：一种具有跨任务迁移性的统一几何对抗框架

Xiang Chen, Yuxian Dong, Chao Li, Chengyin Hu, Jiaju Han, Fengyu Zhang, Yiwei Wei, Jiahuan Long, Jiujiang Guo

专题命中 图文多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文针对可见-红外视觉语言模型在多模态任务中的对抗鲁棒性不足问题，提出了一种基于分形几何的对抗框架CFGPatch，通过引入曲边分形元素和Fraser螺旋渲染机制，有效攻击VLMs并展示出跨任务迁移能力。

PointLLM-R: Enhancing 3D Point Cloud Reasoning via Chain-of-Thought

PointLLM-R: 通过链式推理增强3D点云推理

Chaoqi Chen, Qile Xu, Wenjun Zhou, Hui Huang

机构 * Visual Computing Research Center (VCC), College of Computer Science（视觉计算研究中心（VCC），计算机科学学院） ； Software Engineering (CSSE) Shenzhen University China（软件工程（CSSE）深圳大学中国） ； VCC, CSSE Shenzhen University China（VCC，CSSE 深圳大学中国） ； Shenzhen University（深圳大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 本文提出了一种数据驱动的框架，用于构建大规模链式推理监督，以改进3D点云理解。通过两阶段流程优化点文本指令数据，并合成高质量推理路径，构建了包含55K样本的PoCoTI数据集，训练PointLLM-R实现3D多模态语言模型的推理能力，实验表明其在生成3D分类和描述任务中达到最先进的性能。

TextTeacher: What Can Language Teach About Images?

TextTeacher: 语言能教会我们关于图像什么？

Tobias Christian Nauen, Stanislav Frolov, Brian Bernhard Moser, Federico Raue, Ahmed Anwar, Andreas Dengel

机构 * RPTU University Kaiserslautern-Landau（赖兴海大学凯撒斯劳滕-兰道分校） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出TextTeacher方法，通过将语言模型的语义知识注入到图像分类训练中，提升视觉模型的性能，同时保持推理时的模型简洁性。

Comments Published at TMLR

Journal ref Transactions on Machine Learning Research, ISSN 2835-8856, 2026

Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

将嵌入概念化：面向视觉-语言模型的稀疏解缠

Piotr Kubaty, Patryk Marszałek, Łukasz Struski, Adam Wróbel, Jacek Tabor, Marek Śmieja

机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院） ； Doctoral School of Exact and Natural Sciences, Jagiellonian University（雅盖隆大学精确与自然科学博士学校） ； Centre for Credible AI, Warsaw University of Technology（华沙技术大学可信人工智能中心） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出CEDAR方法，通过稀疏解缠技术在不增加维度的情况下揭示预训练嵌入的组成结构，从而提升视觉-语言模型的可解释性和与人类感知的一致性。

What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining

图中标签真的在说些什么？用于视觉语言预训练中组合数据选择的反事实短语干预

Hyejin Go, Semi Lee, Hyesong Choi

机构 * Soongsil University（顺斯尔大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文研究了在视觉语言预训练中如何通过反事实短语干预来改进组合数据选择，提出了CPI方法以解决现有方法中全局过滤信号失效的问题，从而提升模型在关系识别任务上的表现。

Comments 11 pages, 2 figures, 4 tables. Preprint

Thermo-VL: Extending Vision-Language Models to Thermal Infrared Perception

Thermo-VL：扩展视觉语言模型以适应热红外感知

Rusiru Thushara, Yasiru Ranasinghe, Jay Paranjape, Vishal M. Patel

机构 * Department of Electrical & Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出Thermo-VL，一种基于热红外感知的视觉语言模型，通过引入可训练的热编码器和文本引导的双注意力融合模块，提升了低光照条件下的多光谱融合能力，并在热红外和RGB+热红外推理任务中取得显著成果。

Comments 18 pages, 11 figures

How can reasoning capability empower the AI copilot robot in endoscopic surgery

推理能力如何赋能内窥手术中的AI助手机器人

Guankun Wang, Long Bai, Hongliang Ren

机构 * Department of Electronic Engineering（电子工程系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文研究了推理能力在内窥手术中AI助手机器人中的应用，提出通过整合多模态线索、解读手术意图和推断隐藏组织动态来提高手术的精确性、安全性和可持续性。

Comments Accepted by npj digital medicine

LeakyCLIP: Extracting Training Data from CLIP

LeakyCLIP: 从CLIP中提取训练数据

Yunhao Chen, Shujie Wang, Xin Wang, Ran He, Xingjun Ma, Yu-Gang Jiang

专题命中 图文多模态 ：multimodal(abstract)

AI总结 本文研究了CLIP中数据记忆和提取风险，提出LeakyCLIP攻击框架，通过改进的图像重建方法实现了高质量的语义准确重建，并揭示了训练数据泄露的可能性。