多模态大模型

BEACON: A Multimodal Dataset for Learning Behavioral Fingerprints from Gameplay Data

BEACON：一个用于从游戏数据中学习行为指纹的多模态数据集

Ishpuneet Singh, Gursmeep Kaur, Uday Pratap Singh Atwal, Guramrit Singh, Gurjot Singh, Maninder Singh

机构 * Computer Science and Engineering Department Thapar Institute of Engineering and Technology（计算机科学与工程系 泰帕尔工程与技术学院） ； David R Cheriton School of Computer Science University of Waterloo, Canada（大卫·R·切里顿计算机科学学院 温哥华大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 BEACON数据集通过高精度运动技能和认知负荷，为行为生物特征的鲁棒性测试提供严格压力测试，支持连续认证、行为建模和多模态学习。

Attribute-Grounded Selective Reasoning for Artwork Emotion Understanding with Multimodal Large Language Models

基于属性的选型推理用于艺术品情感理解的多模态大语言模型

Cheng Zhang, Yuer Liu, Zhiyu Zhou, Hongxia Xie, Wen-Huang Cheng

机构 * Department of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Department of Computer Science, National Taiwan University（国立台湾大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出基于属性的选型推理方法，通过多模态大语言模型实现艺术品情感理解，通过引入属性瓶颈引导框架提升情感预测精度和解释简洁性。

Multimodal Object Detection Under Sparse Forest-Canopy Occlusion

多模态目标检测在稀疏森林冠层遮挡下的应用

Nitik Jain, Mangal Kothari

机构 * Robotics & AI, Johns Hopkins University, USA（约翰霍普金斯大学机器人与人工智能系，美国） ； Department of Aerospace Engineering, IIT Kanpur（印度理工学院坎浦尔航空航天工程系） ； Senior Principal Flight Control Engineer, ADASI, EDGE Group, Abu Dhabi, UAE（阿布扎赫尔ADASI高级飞行控制系统工程师，EDGE集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出一种多模态管道，结合激光雷达、可见-热成像融合和合成孔径成像技术，以提高森林冠层下人类检测的可靠性，展示了改进的YOLOv5检测器在热成像和融合图像上的性能。

PanoWorld: Towards Spatial Supersensing in 360$^\circ$ Panorama World

PanoWorld：迈向360度全景世界的空间超感知

Changpeng Wang, Xin Lin, Junhan Liu, Yuheng Liu, Zhen Wang, Donglian Qi, Yunfeng Yan, Xi Chen

机构 * Zhejiang University（浙江大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Irvine（加州大学伊维特分校） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PanoWorld，通过构建全景原生理解能力，解决传统多模态大模型在空间感知上的不足，通过全景空间交叉注意力机制提升3D空间推理能力，并建立PanoSpace-Bench基准测试，验证了全景原生监督的有效性。

Comments Project page: https://wcpcp.github.io/PanoWorld

BioXArena: Benchmarking LLM Agents on Multi-Modal Biomedical Machine Learning Tasks

BioXArena：在多模态生物医学机器学习任务上评估LLM代理的基准测试

Loka Li, Duzhen Zhang, Xingbo Du, Leonard Song, Zixiao Wang, Assanali Aukenov, Noel Thomas, Shakhnazar Sailaukan, Yonghan Yang, Feilong Chen, Jiahua Dong, Kun Zhang, Bin Zhang, Le Song

专题命中 多模态评测 ：multi-modal(title,abstract)

AI总结 本文提出BioXArena基准测试，旨在评估LLM代理能否为异构多模态生物医学数据集生成任务特定的模型训练流程，包含9个领域76个端到端任务，评估指标涵盖隐藏标签、隐藏评分者和生物意识度量，通过标准化环境评估11种代理配置。

Comments 69 pages, 13 figures, 34 tables

Degradation-Aware Blur-Segmentation of Brain Tumor

考虑退化因素的脑肿瘤模糊分割

Yuchun Wang, Xiaosong Li, Gefei Liang, Yang Liu

机构 * School of Physics and Optoelectronic Engineering, Foshan University, China（物理与光电工程学院，佛山大学，中国） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出DABSeg网络，通过同步去模糊和精确分割，提升多模态3D脑肿瘤分割在退化条件下的鲁棒性与临床实用性。

GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interactions

GRASP：学习多个人非语言互动中的社会推理

Junho Kim, Xu Cao, Houze Yang, Bikram Boote, Ana Jojic, Fiona Ryan, Bolin Lai, Sangmin Lee, James M. Rehg

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Amazon AGI Korea University（亚马逊AGI韩国大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GRASP通过连接高层社会问答与细粒度目光和指代手势事件，提升多个人非语言互动的社会推理能力，包含290万对问题-答案对，提出Social Grounding Reward提升模型性能。

Comments Project page: https://social-reaoning.github.io/grasp/

Segmentation, Detection and Explanation: A Unified Framework for CT Appearance Reasoning

分割、检测与解释：一种用于CT外观推理的统一框架

Yuyuan Liu, Can Peng, Yingyu Yang, Qianye Yang, Cheng Ouyang, J. Alison Noble

机构 * Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（生物医学工程研究所，工程科学系，牛津大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出统一框架，整合语言引导的视觉推理，提升CT图像分割与检测的精度，并提供外观推理输出。

Comments 8 pages, 4 figures, submitted to IEEE Transactions on Medical Imaging (TMI)

On RGB-TIR Stereo Calibration under Extreme Resolution Asymmetry

在极端分辨率不对称下的RGB-TIR立体校准

Michał Król, Michał Salamonowicz, Władysław Skarbek, Michał Tomaszewski

机构 * Independent Researcher（独立研究员） ； Warsaw University of Technology（华沙技术大学） ； Polish Japanese Academy of Information Technology（波兰日本信息科技学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种实用的RGB与TIR摄像头立体校准框架，解决低分辨率热传感器下的校准问题，通过动态OLED屏幕和专用角点检测算法实现高精度校准，验证了系统在建筑能耗评估中的应用。

Comments 27 pages, 12 figures, 3 tables

ForMaT: Dataset for Visually-Grounded Multilingual PDF Translation

ForMaT：用于视觉接地多语言PDF翻译的数据集

Michał Ciesiółka, Dawid Wiśniewski, Adrian Charkiewicz, Kamil Guttmann

机构 * Laniqo ； Faculty of Mathematics and Computer Science, Adam Mickiewicz University（亚当·密茨凯维奇大学数学与计算机科学学院） ； Poznań University of Technology（波兹南技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 ForMaT通过3956个PDF构建多语言翻译数据集，保留布局元数据以提升多模态翻译效果，采用K-Medoids采样捕捉复杂元素，揭示当前MT系统在空间接地与几何同步上的不足，为布局感知翻译模型提供基准。

AirNav: A Large-Scale UAV Vision-and-Language Navigation Dataset with Natural and Diverse Instructions

AirNav: 一个大规模无人机视觉与语言导航数据集，包含自然且多样的指令

Hengxing Cai, Yijie Rao, Ligang Huang, Zanyang Zhong, Jinhan Dong, Jingjun Tan, Changhao Nai, Jue Hou, Wenhao Lu, Renxin Zhong

机构 * School of Intelligent Systems Engineering, Sun Yat-Sen University（中山大学智能系统工程学院） ； Beihang University（北京航空航天大学） ； Peking University（北京大学） ； Beijing University Of Posts and Telecommunications（北京邮电大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Xiamen University（厦门大学） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出AirNav数据集，包含137K自然多样指令的导航样本，评估了多种方法，提出AirVLN-R1模型在测试中取得51.82%的成功率，并通过实际无人机实验验证了仿真到现实的迁移能力。

3D Segmentation Using Viewpoint-Dependent Spatial Relationships

基于视角依赖空间关系的3D分割

Ayaka Nanri, Klara Reichard, Mert Kiray, Federico Tombari, Benjamin Busam, Asako Kanezaki

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一个包含22万样本的3D参照分割数据集，通过密集视角采样扩展至数千万样本，研究视角依赖空间关系对3D大模型的影响，提升分割精度并提高mIoU至0.47。

ELDOR: A Dataset and Benchmark for Illegal Gold Mining in the Amazon Rainforest

ELDOR：亚马逊雨林非法金矿开采的数据集和基准

Kangning Cui, Surendra Bohara, Suraj Prasai, Zishan Shao, Wei Tang, Martin Pillaca, Edwin Flores, Zhen Yang, Gregory Larsen, Evan Dethier, David Lutz, Jean-Michel Morel, Miles Silman, Victor Pauca, Fan Yang

机构 * Wake Forest University（威克森林大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Duke University（杜克大学） ； City University of Hong Kong（香港城市大学） ； Yale University（耶鲁大学） ； Alaska Spatial Science（阿拉斯加空间科学） ； Colby College（科林斯学院） ； Colby-Sawyer College（科林斯-萨威尔学院） ； Lingnan University（岭南大学） ； Centro de Innovación Cientifica Amazónica（亚马逊科学创新中心） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 ELDOR通过大规模无人机基准监测亚马逊雨林非法金矿开采对环境和景观的影响，包含2500多公顷的手动标注正射影像，涵盖采矿活动和生态结构的像素级语义标签，评估多种模型在细粒度和小规模结构识别上的性能。

Comments 70 pages, 35 figures, 28 tables

GenAI-Driven Approach to RISC-V Supply Chain Exploration

基于生成式人工智能的RISC-V供应链探索方法

Nenad Petrovic, Andre Schamschurko, Yingjie Xu, Alois Knoll

机构 * Chair of Robotics, Artificial Intelligence and Real-Time Systems（机器人、人工智能与实时系统教授会） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出利用LLM和VLM的供应链分析流程，结合MDE技术提升对异构数据的分析能力，通过知识图谱揭示供应链组件间的依赖关系，支持供应链韧性评估。

Rethinking Predictive Modeling for LLM Routing: When Simple kNN Beats Complex Learned Routers

重新思考LLM路由的预测建模：当简单kNN胜过复杂学习路由

Yang Li

机构 * Independent researcher（独立研究者） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 本文通过简单性视角重新审视LLM路由，发现经过调优的kNN方法在多种任务中优于现有学习路由方法，引入标准化基准测试和多模态数据集，揭示嵌入空间局部性属性使非参数方法在样本复杂度更低的情况下实现强路由决策。