多模态大模型

Multi-Modal Semantic Segmentation of Electrolyzer Components for Sustainable Hydrogen Technologies: A Dual-Branch Deep Learning Approach

用于可持续氢能技术的电解槽组件多模态语义分割：一种双分支深度学习方法

Wasimul Karim, Nur Mohammad Fahad, Abdul Hasib Siddique, Md Rafiqul Islam, Hooman Mehdizadeh-Rad, Asif Karim, Sami Azam

机构 * Applied Artificial Intelligence and INtelligent Systems (AAIINS) Laboratory（应用人工智能与智能系统（AAIINS）实验室） ； University of Scholars（学者大学） ； Murdoch University（莫道克大学） ； Charles Darwin University（查尔斯达尔文大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 针对电解槽材料分割难题，提出双分支深度学习框架HREM-Net，结合高光谱和RGB图像，通过创新模块、融合模块及损失函数，在相关数据集上取得良好效果，有望用于工业提升电解槽效率和制氢预测性维护。

PolyInterview: An LLM-based Platform for Immersive Mock Interview Practice with Comprehensive Multimodal Assessment

PolyInterview：一个基于大语言模型的沉浸式模拟面试平台，具备全面的多模态评估

Zhiyuan Wen, Jiannong Cao, Kelly Chan, Zijian Wang, Chen Chen, Xiaoyun Liu, Jianing Yin, Zhuo Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

AI总结 PolyInterview平台利用大语言模型，基于职位描述和简历为求职者生成定制面试问题，通过数字人类面试官进行多轮口语面试，全面评估回答内容、语音表达和非语言行为，提供结构化反馈，助力求职者更好地准备面试。

Comments 10 pages, 7 figures, and 4 tables

Paired Uterine Whole-Slide Images and Pathology Reports for Multimodal Computational Pathology

用于多模态计算病理学的配对子宫全切片图像和病理报告

Han Li, Jingsong Liu, Ayako Ura, Junlin Hou, Zhengyang Xu, Azar Kazemi, Oskar Thaeter, Christian Grashei, Fabian Gülhan, Reza Nasirigerdeh, Xun Ma, Rui Yan, Hao Chen, S. Kevin Zhou, Nassir Navab, Carolin Mogler, Peter Schüffler

机构 * Institute of Pathology, Technical University of Munich（慕尼黑工业大学病理研究所） ； Computer Aided Medical Procedures (CAMP), Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序（CAMP）） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Department of Human Pathology, Juntendo University Graduate School of Medicine（顺天堂大学医学研究生院人体病理学部） ； The Hong Kong University of Science and Technology（香港科技大学） ； Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究子宫疾病病理诊断，针对全切片图像与病理报告配对数据集稀缺问题，引入TUM-Uteria数据集，含多对病例及切片级配对，经验证，为计算病理学研究提供支持。

Complete Trip: A Linked Multimodal Human Mobility Dataset

完整行程：一个链接的多模式人类移动数据集

Ruohan Li, Weiyu Luo, Xin Wu, Chenfeng Xiong

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 该研究提出完整行程数据集，通过四阶段工作流程从LBS数据重建多模式旅行行为，涵盖犹他州六个县。能保留行程关系、提供路线表示并支持人口级分析，推动交通、公共卫生等多领域可重复研究。

Comments 16 pages, 9 figures, 5 tables

Personalized Image Aesthetic Assessment via Preference-rich Sample Mining and Cohort Merging

通过偏好丰富样本挖掘和群组合并进行个性化图像美学评估

Zhichao Yang, Tianjiao Gu, Zhixianhe Zhang, Xiangfei Sheng, Pengfei Chen, Leida Li

机构 * Xidian University（西安电子科技大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究个性化图像美学评估问题，提出基于多模态大语言模型的PRAC方法，通过偏好丰富样本挖掘和美学共鸣群组合并建模个体美学偏好，经实验验证该方法优于现有技术。

Comments The paper has been accepted by ACM MM 2026

DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings

DrawingVQA：建筑图纸上多深度视觉文本推理的真实世界基准测试

Yoonhwa Jung, Junryu Fu, Mani Golparvar-Fard

机构 * Louisiana State University（路易斯安那州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 DrawingVQA针对建筑图纸多深度视觉文本推理设计基准测试，利用图纸与问答对，提出双分类框架评估模型，揭示模型与专家表现差距，为领域特定多模态推理及AI与工程工作流程整合奠定基础。

Comments CVPR 2026 Findings accepted paper

VTLoc: Learning-based Tactile Contact Localization in Visual Point Clouds

VTLoc：基于学习的视觉点云中触觉接触定位

Zhiyuan Wu, Zhuo Chen, Shan Luo

机构 * Department of Engineering, King’s College London（伦敦国王学院工程系） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究视觉与触觉融合的接触定位问题，提出VTLoc框架，通过几何多模态对齐模块和迭代定位更新器，利用视觉点云从触觉读数定位接触点，在新基准上减少对应模糊性，改善单触接触定位。

Benchmarking MRI Representations for Deep Learning-Based Focal Cortical Dysplasia Segmentation

基于深度学习的局灶性皮质发育异常分割的MRI表征基准测试

Soumen Ghosh, John Phamnguyen, Amit Soni Arya, Subhojit Mandal, Tilottama Goswami, Rajat Vashistha

机构 * The University of Queensland（昆士兰大学） ； I-MED Radiology（I-MED放射学） ； Bennett University（贝内特大学） ； Indian Institute of Technology Madras（印度马德拉斯理工学院） ； University College of Engineering, Osmania University（奥斯曼尼亚大学工程学院） ； Mater Hospital（玛特医院） ； Royal Brisbane and Women’s Hospital（皇家布里斯班和妇女医院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对局灶性皮质发育异常分割，利用nnU-Net框架对MRI表征进行基准测试，评估多种输入配置，发现FLAIR单模态性能最强，比率衍生表征单独不足，多模态配置可提高病变描绘，强调MRI表征设计在深度学习分割中的重要性。

Can We Trust Item Response Theory for AI Evaluation?

我们能信任项目反应理论进行人工智能评估吗？

Han Jiang, Sunbeom Kwon, Jinwen Luo, Ziang Xiao, Susu Zhang

机构 * Johns Hopkins University（约翰·霍普金斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究探讨项目反应理论（IRT）用于人工智能评估的可靠性，利用六个大语言模型基准模拟响应矩阵，比较四种估计工具，评估IRT在多方面的表现，发现经典估计器在大型基准中可能不可行，可扩展估计器在特定模型集下可能产生不可靠推断。

On the Role of Depth in Surgical Vision Foundation Models: An Empirical Study of RGB-D Pre-training

在手术视觉基础模型中深度的作用：一项关于RGB-D预训练的实证研究

John J. Han, Adam Schmidt, Muhammad Abdullah Jamal, Chinedu Nwoye, Anita Rau, Jie Ying Wu, Omid Mohareri

机构 * Vanderbilt University（范德比尔大学） ； Intuitive Surgical Inc.（Intuitive Surgical公司） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本研究通过比较不同预训练方法，发现几何感知的多模态预训练能显著提升手术视觉模型的性能，且无需改变推理架构。

Comments Inaccurate findings

PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning

PASs-MoE：通过路径激活子空间减轻路由器与专家之间的错位协同漂移以进行持续学习

Zhiyan Hou, Haiyun Guo, Haokai Ma, Yandu Sun, Yonghui Yang, Jinqiao Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； National University of Singapore（新加坡国立大学） ； Southeast University, Nanjing, China（南京东南大学） ； Wuhan AI Research, Wuhan, China（武汉人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究持续指令调整中多模态大语言模型的问题，提出基于路径激活子空间的固定容量PASs - MoE - LoRA方法，含PAS引导的重新加权和PAS感知的秩稳定，实验表明该方法在准确性和抗遗忘性上优于基线和变体且不增参数。

Comments Published in the Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026), Volume 1: Long Papers. 14 pages. Code is available at https://github.com/yueluoshuangtian/PASs-MoE

Journal ref Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 31959--31972, San Diego, California, United States, July 2026. Association for Computational Linguistics

Perception-Aligned AI Outputs: End-to-End Visual Prediction for Uncertainty Communication in Clinical Decision-Making

感知对齐的人工智能输出：临床决策中用于不确定性通信的端到端视觉预测

Mohammad Eslami, Solale Tabarestani, Saber Kazeminasab, Ehsan Adeli, Glyn Elwyn, Tobias Elze, Mengyu Wang, Nazlee Zebardast, Lucia Sobrin, Nassir Navab, Daniel Shu Wei Ting, Malek Adjouadi

机构 * Harvard Ophthalmology AI Lab（哈佛眼科人工智能实验室） ； Schepens Eye Research Institute of Massachusetts Eye and Ear（马萨诸塞眼耳医院施佩恩眼科研究所） ； Harvard Medical School（哈佛医学院） ； Center for Advanced Technology and Education（先进教育技术中心） ； Florida International University（佛罗里达国际大学） ； Dartmouth Institute for Health Policy and Clinical Practice（达特茅斯健康政策与临床实践研究所） ； Dartmouth College（达特茅斯学院） ； Computer Aided Medical Procedures（医学辅助程序） ； Technical University of Munich（慕尼黑技术大学） ； Singapore Eye Research Institute（新加坡眼科研究所） ； Singapore National Eye Centre（新加坡国家眼科中心） ； Department of Ophthalmology, Byers Eye Institute, Stanford University（眼科部门，比尔斯眼科研究所，斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对医疗保健中可解释人工智能的问题，提出以人为本的机器学习可视化学习框架VL4ML，通过直观视觉表示传达模型预测与不确定性，经多临床任务验证及评估，结果显示其能有效支持临床决策，具有广泛可及性。

Memory-Driven Self-Disclosure and Relational Turning Points: A Longitudinal Multimodal Study of Human-AI Interaction

记忆驱动的自我表露与关系转折点：人机交互的纵向多模态研究

Ryuichi Sumida, Mao Saeki, Masaki Eguchi, Sadahiro Yoshikawa, Koji Inoue, Tatsuya Kawahara, Yoichi Matsuyama

机构 * Graduate School of Informatics, Kyoto University（京都大学信息学研究科） ； Equmenopolis, Inc.（Equmenopolis公司） ； Waseda University（早稻田大学） ； School of Informatics, Kyoto University（京都大学信息学系） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过纵向多模态研究，探讨对话式人工智能系统中交互如何发展为关系。核心方法是让参与者对五个关系构建要素评分，发现对话质量影响当下愉悦感，感知记忆受关系制约，关系有崩溃和激增等转折点，揭示了人机关系建立的方式。

Comments 15 pages, 3 figures. Accepted to ICMI 2026 (International Conference on Multimodal Interaction), October 5-9, 2026, Napoli, Italy

ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

ToolSciVer：基于视觉工具增强强化学习的多模态科学声明验证

Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。

SciForge: An AI-Native, Multimodal Workbench for Scientific Discovery

SciForge：用于科学发现的人工智能原生多模态工作台

SciForge Team, Zhangyang Gao, Minghao Fang, Yifei Liu, Hanhui Yang, Xinyu Gu, Shixiang Tang, Siqi Sun, Lei Bai, Cheng Tan, Mengdi Liu, Hao Wu, Shuizhou Chen

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 SciForge针对科学工作中异构工件难保存为连贯可审计状态的问题，构建多模态工作台，围绕五个支柱运行，结合多种组件，通过多种应用场景展示实际影响，当前为桌面应用，未来深化团队协作且开源。

ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

ABot-AgentOS：一个具有终身多模态记忆的通用机器人智能体操作系统

Jiayi Tian, Shiao Liu, Yuting Xu, Jia Lu, Zihao Guan, Honglin Han, Di Yang, Minqi Gu, Yifei Qian, Tianlin Zhang, Yanqing Zhu, Zeqian Ye, Menglin Yang, Fei Wang, Xu Hu, Xiuxian Li, Wei Zhang, Shihui Su, Yiyan Ji, Jingbo Wang, Ziteng Feng, Jiaheng Liu, Zhaoxiang Zhang, Xiaolong Wu, Zixiao Tang, Zhining Gu, Yang Cai, Linbo Zheng, Jingjing Ma, Mingyang Yin, Zedong Chu, Wenbin Tang, Mu Xu

机构 * AMAP CV Lab（AMAP计算机视觉实验室） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究针对长期具身智能体运行需求，提出ABot-AgentOS通用机器人智能体操作系统，引入EmbodiedWorldBench基准，采用通用多模态图记忆及失败驱动自我进化循环，在相关测试中表现良好，证明该系统层可提升具身执行并提供持久记忆。

Comments Code: https://github.com/amap-cvlab/ABot-AgentOS Project page: https://amap-cvlab.github.io/ABot-AgentOS

RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

RESOURCE2SKILL: 从人类创建的多模态资源中提取可执行智能体技能

Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft（微软） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出RESOURCE2SKILL框架，从教程视频、代码库、文章等人类多模态资源中提取可执行技能，构建分层多模态技能维基，提升智能体在七个领域的任务表现。

EgoExoMoCap: Distributed Ego-Exo Human Motion Capture

EgoExoMoCap：分布式自我-外部人体运动捕捉

Jiaxi Jiang, Bharat Lal Bhatnagar, Nan Yang, Lingni Ma, Sebastian Starke, Robin Kips, Nadine Bertsch, Christian Holz, Federica Bogo

机构 * Meta Reality Labs（元现实实验室） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对头戴式设备人体运动捕捉，提出EgoExoMoCap分布式框架，联合自我与外部中心多模态信号，利用头部等跟踪信号及DINOv3特征，能在复杂场景中稳健重建运动，突破了两种范式孤立的局限。

Comments Accepted by ECCV 2026, Project page and code: https://siplab.org/projects/EgoExoMoCap

Crayotter: Traceable Multi-Agent Workflows for Long-Form Video Editing

Crayotter: 用于长视频编辑的可追踪多智能体工作流

Lecheng Yan, Yichong Zhang, Xiantao Xu, Jianze Lin, Ben Pan, Xiaoyu Zheng, Jiawei Qian, Anqi Wu, Jiahui Geng, Ruizhe Li, Fengyu Cai, Jingcheng Niu, Raymond Li, Wenxi Li, Chenyang Lyu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出Crayotter，一个开源多模态多智能体系统，通过三阶段工作流（材料准备、基于工件的编辑研究、工具驱动的执行）实现长视频编辑的可追踪性和选择性修订，在人类评估中优于基线方法。

Comments 10 pages, 5 figures

Agents-K1: Towards Agent-native Knowledge Orchestration

Agents-K1：迈向智能体原生的知识编排

Zongsheng Cao, Bihao Zhan, Jinxin Shi, Jiong Wang, Fangchen Yu, Zhijie Zhong, Yingnan Han, Zijie Guo, Tianshuo Peng, Zhuo Liu, Yi Xie, Xiang Zhuang, Shengji Tang, Yue Fan, Runmin Ma, Shiyang Feng, Xiangchao Yan, Anran Liu, Peng Ye, Wenlong Zhang, Xiaosong Wang, Shufei Zhang, Chunfeng Song, Fenghua Ling, Jie Zhou, Liang He, Bo Zhang, Lei Bai

机构 * PJLab（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 提出Agents-K1管道，将原始文档转化为智能体原生科学知识图谱，通过多模态解析器、GRPO训练的4B信息抽取骨干和三源智能体接口，实现科学信息抽取、知识图谱构建和多跳推理。

HCIG: A Hierarchical Cross-Modal Incongruity Graph Network for Multimodal Sarcasm and Cyberbullying Detection

HCIG：用于多模态讽刺和网络欺凌检测的分层跨模态不协调图网络

Bhavana Verma, Priyanka Meel, Dinesh Kumar Vishwakarma

机构 * Delhi Technological University（德里理工大学） ； Multimodal Data Analytics Research Laboratory（多模态数据分析研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态讽刺和网络欺凌检测难题，提出HCIG框架，利用图注意力网络在不同层面建模跨模态不协调并整合，引入GCCN辅助推理。实验表明该方法在相关数据集上表现出色，分层多粒度建模比传统策略更有效。

Toward Federated Multimodal Graph Foundation Models: A Topology-Aware Multimodal Alignment Framework

迈向联邦多模态图基础模型：一种拓扑感知多模态对齐框架

Xunkai Li, Guohao Fu, Yuming Ai, Zhengyu Wu, Hongchao Qin, Rong-Hua Li, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 研究针对多模态属性图分散在不同隐私受限孤岛的问题，提出FedGAMMA框架，将联邦多模态图基础学习视为两阶段语义结构对齐问题，经实验验证该框架在下游任务中表现出色，超越诸多基线，在少样本学习场景下也有优势。

Comments Under Review

Large Language Models as Unified Multimodal Learners for Clinical Prediction

作为临床预测统一多模态学习者的大语言模型

Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） ； Charité Universitätsmedizin Berlin（柏林夏里特大学医学中心） ； DNC Information Management GmbH（DNC信息管理有限公司） ； Klinik für Akut- und Notfallmedizin, Asklepios Klinikum Harburg（哈堡阿斯克勒庇俄斯医院急性与急诊医学科） ； Technical University Berlin（柏林工业大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨利用大语言模型进行临床预测，提出将不同模态患者数据转为自然语言序列，端到端微调预训练语言模型的方法，经三个临床任务评估，该方法匹配或超越多模态基线，优于临床梯度提升系统，降低系统复杂性。

Where Will They Go? Modelling Multimodal Pedestrian Manoeuvres from Ego-centric Videos

他们将去哪里？从自我中心视频建模多模态行人机动

Yuxuan Xie, Nicolas Pugeault, Chongfeng Wei, Hubert P. H. Shum, Edmond S. L. Ho

机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院） ； James Watt School of Engineering, University of Glasgow（格拉斯哥大学詹姆斯·瓦特工程学院） ； Department of Computer Science, Durham University（杜伦大学计算机科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出MMPM框架，通过行为感知交互模块和基于CVAE的模态感知轨迹预测器，分别建模行人过马路和不过马路两种模式，提升自我中心视角下多模态轨迹预测准确性。

Comments Accepted at The IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026

Towards Domain-Generalized Open-Vocabulary Object Detection: A Progressive Domain-invariant Cross-modal Alignment Method

迈向领域通用的开放词汇物体检测：一种渐进领域不变跨模态对齐方法

Xiaoran Xu, Xiaoshan Yang, Jiangang Yang, Yifan Xu, Jian Liu, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室） ； Institute of Microelectronics, University of Chinese Academy of Sciences（中国科学院大学微电子学院） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本文提出PICA方法，通过多级模糊性和信号强度课程，解决开放词汇检测中领域变化导致的跨模态空间崩溃问题，提升模型鲁棒性。

Depth-Semantic Alignment and Affinity-Guided Fusion for Structured Radar Point Cloud Generation

深度语义对齐与亲和力引导融合的结构化雷达点云生成

Amjad Hussain, Wenjie Liu, Yuchen Tan, Fuyuan Ai, Zecheng Li, Chunyi Song, Xin Qiu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 针对毫米波雷达点云稀疏、噪声大、结构不完整的问题，提出基于视觉-雷达融合的多模态点云生成方法，利用图像语义约束和稀疏补全策略提升点云质量，并在检测跟踪任务中验证有效性。

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

整体融合：基于因子图的与任务和设置无关的机器人定位与状态估计

Julian Nubert, Turcan Tuna, Jonas Frey, Cesar Cadena, Katherine J. Kuchenbecker, Shehryar Khattak, Marco Hutter

机构 * ETH Zürich（苏黎世联邦理工学院） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对移动机器人定位与状态估计问题，提出整体融合方法，通过因子图公式融合多类型测量，注重局部平滑性与一致性，能在典型硬件上实现低延迟、平滑在线估计及低漂移全局定位，在多场景验证了框架有效性。

Comments 21 pages, 25 figures, 9 tables, Transactions on Robotics, accepted

Journal ref Transactions on Robotics 2026

Map as a Prompt: Learning Multi-Modal Spatial-Signal Foundation Models for Cross-scenario Wireless Localization

地图作为提示：学习用于跨场景无线定位的多模态空间信号基础模型

Yong Chu, Xun Zhou, Zenglin Xu, Hui Wang, Yue Yu

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） 纠错

专题命中 其他多模态 ：multi-modal(title)；multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 针对无线定位在不同环境中面临的挑战及现有方法的局限，提出多模态基础模型SigMap，通过循环自适应掩码策略和“地图即提示”框架学习无线表示并实现跨场景适应，实验证明其性能领先且零样本泛化能力强。

Comments 17pages, 9 figures, poster in International Conference on Learning Representations (ICLR), 2026

Assessing Learning Processes with Multimodal Data in Virtual Reality Learning Environments

在虚拟现实学习环境中使用多模态数据评估学习过程

Eileen McGivney, Oluwatomilade Olarinde, Erica Kleinman, Kaylah Facey, Rana Jahani, Shripad Agashe, Manav Varma, Seth Cooper, Casper Harteveld

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 研究如何在VR学习环境中用多模态数据评估学习过程，通过探索VR密室逃脱游戏的多模态数据源，利用VR特性促进多模态交互，以了解数据对参与者推理技能与猜测行为的揭示情况。

Journal ref Proceedings of the 20th International Conference of the Learning Sciences. ICLS 2026. Irvine, CA, USA. 1807-1811

Neuro-Symbolic AI for LEED compliance: Document-Centric Benchmarking, Deterministic Numeric Checking, and When Multimodal Hurts

用于LEED合规的神经符号人工智能：以文档为中心的基准测试、确定性数值检查以及多模态何时有害

Aritro De, Juliana Felkner

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

AI总结 研究小型本地部署语言模型对LEED文档筛选及符号组件作用，引入神经符号管道，通过对齐PDF、检索证据、语言模型验证和数值检查器检查来验证合规性，实验表明特定模型在任务中表现较好，管道及基线提供了参考。