多模态大模型

SAC$^2$-Net: Semantic Anchoring and Complementary-Consensus Fusion for Multimodal Micro-Expression Recognition

SAC$^2$-Net：面向多模态微表情识别的语义锚定与互补共识融合

Xuepeng Zheng, Tong Chen, Chaoping Gui, Yingjuan Jia, Hanpu Wang, Yuhao Shan

机构 * College of Electronic and Information Engineering, Southwest University（西南大学电子信息工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对微表情识别中光流与运动放大模态的不对称失效问题，提出SAC$^2$-Net，通过语义锚定软对齐减少跨模态异质性，并设计互补共识融合机制实现可靠性感知融合，在五个基准上取得最优或竞争力强的性能。

GaussFusion: Towards Multimodal 3D Gaussian Pretraining

高斯融合：迈向多模态3D高斯预训练

Zhixuan You, Jihua Zhu, Yiding Sun, Zihao Guo, Haozhe Cheng, Dongxu Zhang, Lin Chen, Hainan Luo

机构 * Wuhu HIT Robot Technology Research Institute Co., Ltd.（芜湖哈工大机器人技术研究院有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究提出GaussFusion多模态3D高斯预训练框架，通过跨模态语义对齐集成图像和文本监督，还提出高斯显著性引导的多尺度空洞掩码，实验表明该方法提高了高斯表示可迁移性，在ModelNet40和ScanObjectNN上有性能提升。

Comments 32 pages, 6 figures, 6 tables

CL-Anomaly: Layer-Adaptive Mixture-of-Experts with Multimodal Large Language Model for Continual Learning in Anomaly Detection

CL-Anomaly：用于异常检测中持续学习的具有多模态大语言模型的层自适应专家混合模型

Wen Dong, Zhao Wang, Shuangqing Zhang, Kai Sun, Ben Li, Guo-Sen Xie, Caifeng Shan, Fang Zhao

机构 * Nanjing University（南京大学） ； China Mobile Zijin Innovation Institute（中国移动紫金创新研究院） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型持续学习计算昂贵及现有方法语义纠缠问题，提出CL-Anomaly框架，用隔离共享协作实现参数高效微调，介绍任务私有专家PrivLoRA等，实验表明其性能优于现有方法。

Multimodal Fusion for Fine-Grained Classification of Breast Fibroadenoma and Phyllodes Tumors

乳腺纤维腺瘤与叶状肿瘤细粒度分类的多模态融合

Chuxi Nan, Di Wu, Hongming Guo, Ning Cao, Xiaohui Zhu, Zhaoting Shi, Jiawei Li

机构 * School of Integrated Circuits, Wuxi Vocational College of Science and Technology（集成电路学院，无锡科学技术职业技术学院） ； School of Advanced Technology, Xi’an Jiaotong-Liverpool University（先进科技学院，西安交通大学利物浦大学） ； Shanghai Gem Science and Technology Co., Ltd.（上海 gems 科技有限公司） ； Department of Oncology, Shanghai Medical College, Fudan University（肿瘤科，复旦大学上海医学院） ； Department of Medical Ultrasound, Fudan University Shanghai Cancer Center（医学超声科，复旦大学上海癌症中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对B超下乳腺纤维腺瘤和叶状肿瘤高度重叠导致误诊的问题，构建FAPT-M多模态数据集，提出临床引导的多模态框架，集成视觉、文本和临床特征，通过自适应调制、跨模态Transformer和双路径表示学习，实现细粒度分类，准确率77.64%，AUC 89.74%。

MSNN-LINet: Cross-Modal Learning via Continuous Linear Integration

MSNN-LINet：通过连续线性集成进行跨模态学习

Gabriel Clinger

机构 * The George Washington University（乔治华盛顿大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 提出线性集成网络LINet，通过连续线性集成卷积操作实现RGB-D场景分类中的逐层跨模态学习，解决多模态融合的结构性妥协问题，并在SUN RGB-D数据集上取得领先结果。

Comments 14 pages, 6 figures, 3 tables

Morphology-Aware Multimodal Representation Learning for Insect Phylogenetic Reconstruction

形态感知的多模态表示学习用于昆虫系统发育重建

Zixuan Liu, Kaijie Yu, Chun He, Xiaoxu Cai, Xinhai Ye, Haishuai Wang, Gongyin Ye, Jiajun Bu

机构 * Rural Development Academy, Zhejiang University（浙江大学农村发展学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 提出形态感知多模态对齐框架，结合标本图像与形态描述，通过视觉Transformer微调和对比学习对齐图像-文本，学习连续性状用于贝叶斯系统发育重建，在Rove-Tree-11数据集上提升拓扑一致性。

Comments 7 pages, 5 figures, and 2 tables

Synergistic Dual-Branch Adaptation for Multi-modal Generalized Category Discovery

协同双分支自适应多模态广义类别发现

Yuxun Qu, Minyu Zhou, Yongqiang Tang, Chenyang Zhang, Wensheng Zhang

机构 * College of Computer Science, Nankai University（南开大学计算机学院） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出协同双分支自适应框架，通过跨模态协同适配器和邻域互学习模块，增强多模态广义类别发现中的细粒度关系监督，在六个基准上取得最优性能。

FUSE: Frequency-domain Unification and Spectral Energy Alignment for Multi-modal Object Re-Identification

FUSE：面向多模态目标重识别的频域统一与频谱能量对齐

Xuanhao Qi, Tom H. Luan, Yukang Zhang, Jinkai Zheng, Zhou Su, Shuwei Li, Lei Tan

机构 * School of Cyber Science and Engineering, Xi'an Jiaotong University（西安交通大学网络空间安全学院） ； School of Informatics, Xiamen University（厦门大学信息学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出频域框架FUSE，通过频谱解耦和能量对齐两阶段处理，解决多模态重识别中低频偏置问题，在三个数据集上mAP提升9.1%。

Comments Accepted in ICML 2026

SUP-MCRL: Subject-aware Unified Pseudo-feature Coded Multimodal Contrastive Representation Learning for EEG Visual Decoding

SUP-MCRL：面向EEG视觉解码的感知主体统一伪特征编码多模态对比表示学习

Shengyu Gong, Weiming Zeng, Yueyang Li, Zijian Kang, Hongjie Yan, Wai Ting Siok, Nizhuan Wang

机构 * Lab of Digital Image and Intelligent Computation, Shanghai Maritime University（上海海事大学数字图像与智能计算实验室） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系） ； Affiliated Lianyungang Hospital of Xuzhou Medical University（徐州医科大学附属连云港医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出SUP-MCRL框架，通过语义感知视觉编码器、统一EEG增强器和原型渐进增强器，解决多模态对比学习中语义一致性和主体选择性问题，在THINGS-EEG零样本任务上达到66.0%/91.9%的Top-1/Top-5准确率。

GraphBEV++: Multi-Modal Feature Alignment for Autonomous Driving

GraphBEV++: 自动驾驶中的多模态特征对齐

Ziying Song, Caiyan Jia, Lin Liu, Shaoqing Xu, Lei Yang, Yadan Luo

机构 * Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence, School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院，交通数据挖掘与具身智能北京市重点实验室） ； School of Artificial Intelligence (School of Software), Yanshan University（燕山大学人工智能学院（软件学院）） ； University of Macau（澳门大学） ； Nanyang Technological University（南洋理工大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对自动驾驶中BEV感知的特征未对齐问题，提出GraphBEV++框架，通过局部对齐（LocalAlign-v2）和全局对齐（GlobalAlign-v2）模块，利用图匹配、可变形偏移和扩散去噪方法，在多种基准上实现最优性能。

Comments 30 pages, 7 figures

Fusion is not one-size-fits-all: Cross-Modal Representation Alignment for Time-to-Event Modeling

融合并非一刀切：用于时间-事件建模的跨模态表示对齐

Zhemin Zhang, Weijie Chen, David Le, Amara Tariq, Alex Wallace, Matthew Stib, Juan Maria Farina, Chadi Ayoub, Reza Arsanjani, Imon Banerjee

机构 * Arizona State University（亚利桑那州立大学） ； Mayo Clinic（梅奥诊所） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI

AI总结 针对多模态临床数据中的模态不平衡和分布偏移问题，提出一种基于基础模型的跨模态对齐框架，通过四种融合策略在CT影像和纵向EHR数据间进行表示对齐，在肺栓塞死亡率和心血管疾病结局预测任务上验证了融合的有效性，并首次系统分析了时间-事件预测中的模态不平衡对融合行为的影响。

Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs

上下文感知的模态-拓扑协同对齐用于多模态属性图

Sirui Zhang, Xu Wang, Zhengyu Wu, Xunkai Li, Hongchao Qin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出CoMAG框架，通过任务自适应可靠上下文学习和模态保持的跳令牌对齐，统一处理图任务和模态任务，在保持稀疏边线性复杂度的同时提升结构预测、跨模态匹配和图条件生成性能。

A Multi-Modal Framework with Cross-Subject Pseudo-Labeling and Semantic Alignment for Micro-Gesture Recognition

一种结合跨主体伪标签与语义对齐的多模态微手势识别框架

Haoran Zhang, Haokun Zhang, Pengyu Liu, Yujia Zhang, Weibao Xue, Yanbin Hao

机构 * School of Computer Science and Information Engineering, Hefei University of Technology (HFUT)（合肥工业大学计算机科学与信息工程学院） ； School of Computer Science, University of Auckland (UOA)（奥克兰大学计算机科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对微手势识别中低信噪比、长尾分布和跨主体域偏移问题，提出多模态框架，通过显著性引导提取、平方根平滑加权、正交语义嵌入损失和跨模态伪标签策略，实现有效识别，F1分数达68.13%。

Comments 14 pages, 2 figures

DifferSeg: Towards Diverse Multimodal Binary Segmentation via Differential Perception and Frequency Guidance

DifferSeg: 通过差分感知与频率引导实现多样化的多模态二值分割

Qiangqiang Zhou, Jiawei Xu, Yong Chen, Dandan Zhu, Yugen Yi, Xiaoqi Zhao

机构 * School of Artificial Intelligence, Jiangxi Normal University（江西师范大学人工智能学院） ； Institute of AI Education, East China Normal University（华东师范大学人工智能教育研究所） ； Yale School of Medicine, Yale University（耶鲁大学医学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出DifferSeg框架，通过差分感知融合模块自适应对齐多模态特征，并设计频率引导解码器平衡高低频表示，在29个公开数据集上超越67种方法。

DyCo-RL: Dynamic Cross-Modal Coordination for Visual Reasoning

DyCo-RL: 用于视觉推理的动态跨模态协调

Hangui Lin, Yan Shu, Zhengyang Liang, Chi Liu, Xiangrui Liu, Minghao Qin, Teng Long, Zheng Liu, Nicu Sebe

机构 * University of Trento（特伦托大学） ； BAAI（北京智源人工智能研究院） ； Singapore Management University（新加坡管理大学） ； IQuest Research 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 提出DyCo-RL，通过Fisher-Rao测地距离量化模态内注意力转移，实现动态跨模态协调，并利用对齐引导的优势重加权优化策略，提升多模态大模型在视觉推理中的表现。

RMS@CC-MMD 2026: Multimodal Misogyny Detection via Geometric Interaction and Multi-View Consensus

RMS@CC-MMD 2026：通过几何交互和多视图共识进行多模态厌女症检测

Md. Ajwad Hossain

机构 * Chittagong University of Engineering & Technology (CUET)（吉大港工程技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,comments)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究针对多模态厌女症检测问题，提出GeoMVC方法，通过几何交互层建模跨模态对齐，用多视图共识策略减轻分布偏移，在相关挑战中取得一定排名成绩，凸显特定文化背景下建模的挑战。

Comments Accepted for the CC-MMD Grand Challenge at the 28th ACM International Conference on Multimodal Interaction (ICMI 2026)

Hyperbolic Multimodal Continual Learning

双曲多模态持续学习

Jiahong Liu, Ming Shen, Xiaohao Liu, Rex Ying, Menglin Yang, Tat-Seng Chua, Irwin King

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本研究针对双曲多模态持续学习的遗忘问题，建立理论基础推导了保留几何结构的持续学习框架，经实验验证其有效性。

Comments ICML 2026. 33 pages, 11 figures. Code: ICML" target="_blank" rel="noopener">https://github.com/HUBERILT/HMCL_ICML

Auditing Instruction-Trajectory Mismatches in Multimodal Robot Demonstrations

多模态机器人演示中指令-轨迹不匹配的审计

Simon Holk, Ryosuke Takanami, Tatsuya Matsushima, Yusuke Iwasawa, Yutaka Matsuo, Yueh-Hua Wu, Kei Ota

机构 * AI Robot Association (AIRoA)（人工智能机器人协会（AIRoA）） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态机器人演示中指令-轨迹不匹配问题，提出无需训练的MMPF审计框架，在LIBERO基准及真实机器人数据上实现最优ITM检测与标签修正，可提升下游策略学习性能并展示过滤演示的权衡。

Comments Accepted for publication in IEEE Robotics and Automation Letters (RA-L). 8 pages, 3 figures, 7 tables

Q-CueGraph: Query-Conditioned Visual Evidence Graphs for Multimodal Reasoning

Q-CueGraph：用于多模态推理的查询条件化视觉证据图

Pengcheng Pan, Xinfang Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Q-CueGraph是一种用于多模态推理的查询条件化视觉证据图，它为冻结读取器生成受预算约束的坐标级观测，在多个基准测试中显著提升了推理性能，尤其适用于证据可定位、问题能区分位置且分辨率受限的场景。

Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport

基于联合核熵 gromov-wasserstein 最优传输的多模态对齐

Yixuan Florence Wu, Yilun Zhu, Naichen Shi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对跨模态配对数据稀缺的场景，提出 JK-EGW 框架实现多模态对齐，理论样本复杂度匹配标准最优传输，实验中在数据稀缺的预训练编码器嵌入对齐任务上性能优于基线。

DAIF: A Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning via Approximate Message Passing

DAIF：一种基于数据的近似消息传递多模态监督学习中间融合框架

Sagnik Nandy, Samriddha Lahiry, Pragya Sur, Subhabrata Sen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 本研究提出DAIF数据自适应中间融合框架，结合随机矩阵理论与非参数依赖度量，通过近似消息传递生成去噪特征，在模拟及两个多模态数据集上的预测任务中表现优于或媲美现有方法。

Multimodal domain adaptation under label shift and blockwise missing modalities

标签偏移与分块模态缺失下的多模态域适应

Zebin Wang, Ziang Dou, Molei Liu, Tianxi Cai

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对标签偏移与分块模态缺失的多模态域适应问题，提出参考锚定方法，结合代理标签辅助策略，在模拟与RCC应用中实现了分布偏移下的稳定预测。

Comments 49 pages, 3 figures, 15 tables; includes supplementary material

GALA: Generative Aligned Learning for Adaptive Multimodal Representation in the Taobao Shangou Recommender System

GALA：淘宝商购推荐系统中用于自适应多模态表示的生成对齐学习

Jiping Liu, Zhongmin Zhang, Zisen Sang, Zhijia Fang, Tao Ouyang, Ma Jiang, Shaopeng Liang, Zeyang Hou, Guodong Cao, Jia Jia

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)

AI总结 本文针对外卖推荐系统多模态融合难、语义与行为对齐不足的问题，提出三阶段流程GALA，通过生成式RL对齐阶段弥合预训练-微调差距，在淘宝商购部署后提升了订单量与AUC等指标。

Comments 13 pages, 12 figures, 5 tables. Accepted at the 2026 IEEE International Conference on Data Engineering (ICDE 2026), Industry and Applications Track

TIER-MoE: Trust-Informed Expert Routing via Conditional Modality Risk for Multimodal Fusion in Biomedical Classification

TIER-MoE：用于生物医学分类多模态融合的、基于条件模态风险的信任感知专家路由

Yu Chang, Anzhe Cheng, Chenwei Wu, Zhuoran Wang, Jiahao Chen, Tamoghna Chattopadhyay, Sophia I. Thomopoulos, Paul M. Thompson, Liyue Shen, Paul Bogdan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 该研究提出TIER-MoE风险引导子空间混合专家模型，用于生物医学分类多模态融合，可提升预测性能与概率校准，在多数据集上优于现有最优方法且具备强零样本泛化能力。

Regularizing modality contribution drift in multimodal continual learning

多模态持续学习中模态贡献漂移的正则化

Zhen Zhang, Jielei Chu, Bin Liu, Tianrui Li

机构 * School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 针对多模态持续学习中的模态贡献漂移问题，提出含基于重放和无重放版本的CMCDR方法，经实验验证其通用性与有效性。

LunarFM: A Shared Multimodal Representation of the Moon's Surface

LunarFM：月球表面的共享多模态表示

Marc Girona-Mata, Jakob Gawlikowski, Sumit Goski, Gautier Bardi de Fourtou, Valentin T. Bickel, Ben Moseley, Abigail Calzada-Diaz, Sylvester Kaczmarek, Raúl Ramos-Pollán

机构 * University of Cambridge（剑桥大学） ； German Aerospace Center (DLR)（德国航空航天中心） ； SPAIDER SPACE（斯派德太空公司） ； Mines Paris - PSL University（巴黎矿业学院 - 巴黎文理研究大学） ； University of Bern（伯尔尼大学） ； Imperial College London（伦敦帝国理工学院） ； European Space Resources Innovation Center (ESRIC)（欧洲空间资源创新中心） ； Universidad de Antioquia（安蒂奥基亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 因月球探索需求，针对多源观测致月球表面分析碎片化问题，提出LunarFM多模态基础模型，融合多仪器观测学习通用表示，支持多种下游应用，还提供相关数据集、预训练模型等，助力月球表面高效分析。

Comments 19 pages, 12 figures

DCS: A Unified Conditional Sensitivity Framework for Cross-Modal Copyright Infringement Detection

DCS：用于跨模态版权侵权检测的统一条件敏感度框架

Xiafeng Man

机构 * Fudan University（复旦大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 研究针对基础模型版权侵权检测问题，提出统一的DCS框架，将侵权证据视为反事实条件分布转移，通过条件差分隐私形式化，创建双分支并结合多种因素界定敏感度，还定义校准统计量，适用于多种模型并以不同方式评估。

Human-Inspired Framework for Robotic Craniotomy: Integrating Multimodal Fusion and Adaptive Trajectory Adjustment

用于机器人开颅手术的受人类启发框架：集成多模态融合与自适应轨迹调整

Renzhen Le, Xiao Zhang, Di Wu, Yuanyu Wei, Jiachen Zhu, Zhenzhi Ying, Pengfei Zhang, Liming Shu

机构 * Dalian University of Technology（大连理工大学） ； The University of Tokyo（东京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 该研究针对机器人开颅手术问题，提出受人类启发的闭环框架，集成术前规划与术中执行。采用自适应双轮廓融合算法生成轨迹，利用多模态网络融合信号实现突破检测，通过原位投影策略调整轨迹，实验验证该框架能实现安全自主且高效闭环控制的开颅手术。

Uni-XAS: Alignment-Driven Bidirectional Multimodal Learning for X-ray Absorption Spectroscopy

Uni-XAS：用于X射线吸收光谱的对齐驱动双向多模态学习

Suyang Zhong, Yuhao Zhao, Boying Huang, Fanjie Xu, Pengwei Xu, Haoyi Tao, Xi Fang, Jun Cheng, Fujie Tang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究针对X射线吸收光谱建模中异构模态学习难题，提出Uni-XAS框架。通过XASLip解决元素内配位变化，用检索增强解码防尺度崩溃等，还引入排列校正流匹配解决逆问题，在多方面表现出色，为多模态学习和评估奠定基础。

Comments 48 pages, 7 figures, 11 tables. Accepted by ACMMM 2026

OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

OrientSAM：通过方向感知空间对齐减轻多模态空间推理中以相机为中心的捷径

Wenxiao Fan, Hang Yin, Kan Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究多模态模型空间推理中以相机为中心的问题，提出OrientSAM框架，通过方向感知令牌、傅里叶角度编码及课程学习策略注入方向信息并改善推理，构建数据管道生成监督，实验证明其在多任务中表现出色，能减轻捷径行为，实现更强大的以对象为中心的空间推理。