多模态大模型

MoKus: Leveraging Cross-Modal Knowledge Transfer for Knowledge-Aware Concept Customization

MoKus: 利用跨模态知识迁移实现知识感知的概念定制

Chenyang Zhu, Hongxiang Li, Xiu Li, Long Chen

机构 * Tsinghua University（清华大学） ； HKUST（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出MoKus框架，通过跨模态知识迁移实现知识感知的概念定制，解决稀有token在预训练数据中缺失导致的性能不稳定问题，并引入KnowCusBench基准测试，验证了方法在概念定制任务中的优越性。

Comments Project Page: https://chenyangzhu1.github.io/MoKus/

CognitionCapturerPro: Towards High-Fidelity Visual Decoding from EEG/MEG via Multi-modal Information and Asymmetric Alignment

CognitionCapturerPro：通过多模态信息和非对称对齐实现从EEG/MEG的高保真视觉解码

Kaifan Zhang, Lihuo He, Junjie Ke, Yuqi Ji, Lukun Wu, Lizi Wang, Xinbo Gao

机构 * Visual Information Processing Laboratory, School of Electronic Engineering, Xidian University（电子科技大学信息处理实验室，电子工程学院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CognitionCapturerPro框架，通过整合EEG与多模态先验信息，提升EEG视觉重建的保真度与检索准确率，改进Top-1和Top-5准确率达25.9%和10.6%。

CMHANet: A Cross-Modal Hybrid Attention Network for Point Cloud Registration

CMHANet：一种用于点云配准的跨模态混合注意力网络

Dongxu Zhang, Yingsen Wang, Yiding Sun, Haoran Xu, Peilin Fan, Jihua Zhu

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CMHANet，通过融合2D图像与3D点云信息，提升配准鲁棒性，并引入对比学习优化函数，实验表明在3DMatch和3DLoMatch数据集上效果优于现有方法。

VLM4Rec: Multimodal Semantic Representation for Recommendation with Large Vision-Language Models

VLM4Rec：基于大视觉-语言模型的多模态语义表示推荐系统

Ty Valencia, Burak Barlas, Varun Singhal, Ruchir Bhatia, Wei Yang

机构 * University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 VLM4Rec通过语义对齐而非直接特征融合，提升多模态推荐性能，实验显示其优于原始视觉特征和融合方法。

Comments 13 pages, 4 figures, 1 table

TerraFlow: Multimodal, Multitemporal Representation Learning for Earth Observation

TerraFlow：用于地球观测的多模态、多时间序列表示学习

Nazar Puriy, Johannes Jakubik, Benedikt Blumenstiel, Konrad Schindler

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TerraFlow提出了一种新的多模态、多时间序列学习方法，适用于地球观测，能够处理变长输入，优于现有模型，在GEO-Bench-2基准测试中表现优异，并在自然灾害风险地图预测中取得进展。

Anchored Alignment: Preventing Positional Collapse in Multimodal Recommender Systems

锚定对齐：防止多模态推荐系统中的位置坍塌

Yonghun Jeong, David Yoon Suk Kang, Yeon-Chang Lee

机构 * UNIST Ulsan（乌尼斯特大学（乌山）） ； Chungbuk National University（Chungbuk国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出AnchorRec框架，通过轻量投影域的间接锚定对齐方法，避免多模态推荐系统中的位置坍塌，提升推荐准确性和多模态表达性。

Comments 5 pages, 5 figures

Spatio-Semantic Expert Routing Architecture with Mixture-of-Experts for Referring Image Segmentation

具有混合专家的时空语义专家路由架构用于指代图像分割

Alaa Dalaq, Muzammil Behzad

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SERA架构，通过在视觉语言框架中引入轻量级表达感知专家细化，提升指代图像分割的时空一致性与边界精度，实验表明其在准确定位和精细边界界定上表现优异。

Test-Time Attention Purification for Backdoored Large Vision Language Models

针对受污染的大视觉语言模型的测试时间注意力净化

Zhifang Zhang, Bojun Yang, Shuo He, Weitong Chen, Wei Emma Zhang, Olaf Maennel, Lei Feng, Miao Xu

机构 * University of Queensland（昆士兰大学） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出CleanSight，一种无需训练的测试时间防御方法，通过检测和净化异常的视觉-文本注意力分布来对抗后门攻击，显著优于现有基于像素的净化方法。

OARS: Process-Aware Online Alignment for Generative Real-World Image Super-Resolution

OARS：面向生成真实世界图像超分辨率的在线对齐

Shijie Zhao, Xuanyu Zhang, Bin Chen, Weiqi Li, Qunliang Xing, Kexin Zhang, Yan Wang, Junlin Li, Li Zhang, Jian Zhang, Tianfan Xue

机构 * ByteDance Inc.（字节跳动公司） ； Peking University（北京大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract)；分类 cs.CV

AI总结 OARS通过过程感知的在线对齐框架，结合COMPASS奖励模型，在线优化图像超分辨率模型，实现感知与保真度的平衡，提升真实世界图像超分辨率性能。

Comments Super-Resolution, Reinforcement Learning

Seeing Eye to Eye: Enabling Cognitive Alignment Through Shared First-Person Perspective in Human-AI Collaboration

彼此相视：通过共享第一人称视角实现人机协作中的认知对齐

Zhuyu Teng, Pei Chen, Yichen Cai, Ruoqing Lu, Zhaoqu Jiang, Jiayang Li, Weitao You, Lingyun Sun

机构 * College of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出Eye2Eye框架，通过共享第一人称视角实现人机认知对齐，解决沟通和理解鸿沟问题，实验表明其能提升协作效率和信任度。

Comments 19 pages, 11 figures. Accepted at ACM CHI 2026, Barcelona