多模态大模型

From Pixels to Tokens: Byte-Pair Encoding on Quantized Visual Modalities

Wanpeng Zhang, Zilong Xie, Yicheng Feng, Yijiang Li, Xingrun Xing, Sipeng Zheng, Zongqing Lu

专题命中 其他多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV、cs.CL、cs.AI

ReconBoost: Boosting Can Achieve Modality Reconcilement

Cong Hua, Qianqian Xu, Shilong Bao, Zhiyong Yang, Qingming Huang

专题命中 其他多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

Comments This paper has been accepted by ICML2024

Neuro-Symbolic AI for LEED compliance: Document-Centric Benchmarking, Deterministic Numeric Checking, and When Multimodal Hurts

用于LEED合规的神经符号人工智能：以文档为中心的基准测试、确定性数值检查以及多模态何时有害

Aritro De, Juliana Felkner

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

AI总结 研究小型本地部署语言模型对LEED文档筛选及符号组件作用，引入神经符号管道，通过对齐PDF、检索证据、语言模型验证和数值检查器检查来验证合规性，实验表明特定模型在任务中表现较好，管道及基线提供了参考。

DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation

DeepInterestGR: 利用多模态大语言模型挖掘深度多兴趣用于生成式推荐

Yangchen Zeng, Zhenyu Yu, Zhiyuan Hu, Wenxin Zhang, Jinze Wang, Rongfeng Guo

机构 * Southeast University（东南大学） 纠错

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

AI总结 提出DeepInterestGR框架，通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化，解决生成式推荐中的浅层兴趣问题，在三个Amazon数据集上显著提升推荐性能。

Simulating clinical interventions with a generative multimodal model of human physiology

用生成式多模态模型模拟临床干预

Guy Lutsker, Gal Sapir, Jordi Merino, Smadar Shilo, Anastasia Godneva, Eli Meirom, Shie Mannor, Hagai Rossman, Gal Chechik, Eran Segal

机构 * Department of Computer Science and Applied Mathematics, Weizmann Institute of Science（魏茨曼科学研究所计算机科学与应用数学系） ； Department of Molecular Cell Biology, Weizmann Institute of Science（魏茨曼科学研究所分子细胞生物学系） ； NVIDIA ； Novo Nordisk Foundation Center for Basic Metabolic Research, University of Copenhagen（诺沃维克基金会基础代谢研究中心，哥本哈根大学） ； Faculty of Medical and Health Sciences, Tel Aviv University（特拉维夫大学医学与健康科学学院） ； The Jesse Z and Sara Lea Shafer Institute for Endocrinology and Diabetes, National Center for Childhood Diabetes, Schneider Children’s Medical Center of Israel（杰西Z和索菲亚·李·沙弗内分泌学与糖尿病研究所，以色列儿童糖尿病国家中心，施耐德儿童医学中心） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

AI总结 本文提出HealthFormer模型，通过训练人类表型项目数据，生成人类生理轨迹，实现对个体生理变化的预测和干预模拟，提升临床风险评分和疾病预测能力。

3D Smoke Scene Reconstruction Guided by Vision Priors from Multimodal Large Language Models

由多模态大语言模型视觉先验引导的3D烟雾场景重建

Xinye Zheng, Fei Wang, Yiqi Nie, Kun Li, Junjie Chen, Jiaqi Zhao, Yanyan Wei, Zhiliang Wu

机构 * Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Anhui University（安徽大学） ； United Arab Emirates University（阿联酋大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

AI总结 本文提出整合视觉先验与高效3D场景建模的框架，通过增强烟雾退化图像和开发Smoke-GS框架，提升烟雾场景重建与视图合成的鲁棒性与一致性。

Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation

多模态自动驾驶的混合渲染：融合神经网络与基于物理的模拟

Máté Tóth, Péter Kovács, Réka Bencses, Zoltán Bendefy, Zoltán Hortsin, Balázs Teréki, Tamás Matuszka

机构 * aiMotive 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

AI总结 本文提出混合渲染方法，结合神经网络与基于物理的模拟，提升自动驾驶模拟中新颖视角合成质量及实时渲染效率。

Classification of autoimmune diseases from Peripheral blood TCR repertoires by multimodal multi-instance learning

通过多模态多实例学习对自身免疫性疾病进行外周血T细胞受体谱系的分类

Ruihao Zhang, Mao chen, Fei Ye, Dandan Meng, Yixuan Huang, Xiao Liu

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

AI总结 EAMil通过多模态多实例学习方法，利用TCR测序数据高精度诊断SLE和RA，并有效识别疾病相关基因。

Comments 4 figures, 3 tabels, 8 pages

Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift

改进多模态蒸馏以应对激光雷达语义分割中的域移位

Björn Michele, Alexandre Boulch, Gilles Puy, Tuan-Hung Vu, Renaud Marlet, Nicolas Courty

机构 * CNRS, IRISA, Univ. Bretagne Sud（CNRS、IRISA、布列塔尼大学） ； LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM、巴黎理工学院、古斯塔夫·埃菲尔大学、CNRS） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

AI总结 本研究提出改进多模态蒸馏方法，通过冻结预训练主干网络并训练MLP头，提升激光雷达语义分割在域移位下的性能。

Comments Accepted at BMVC 2025

A Scalable AI Driven, IoT Integrated Cognitive Digital Twin for Multi-Modal Neuro-Oncological Prognostics and Tumor Kinetics Prediction using Enhanced Vision Transformer and XAI

Saptarshi Banerjee, Himadri Nath Saha, Utsho Banerjee, Rajarshi Karmakar, Jon Turdiev

专题命中 其他多模态 ：multi-modal(title)；分类 cs.AI

Push the Limit of Multi-modal Emotion Recognition by Prompting LLMs with Receptive-Field-Aware Attention Weighting

Han Zhang, Yu Lu, Liyun Zhang, Dian Ding, Dinghua Zhao, Yi-Chao Chen, Ye Wu, Guangtao Xue

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Xi'an Jiaotong-Liverpool University, Suzhou, China（西安交通大学-利物浦大学） 纠错

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CL

Adaptive XAI in High Stakes Environments: Modeling Swift Trust with Multimodal Feedback in Human AI Teams

Nishani Fernando, Bahareh Nakisa, Adnan Ahmad, Mohammad Naim Rastgoo

机构 * Deakin University（德金大学） ； Monash University（莫纳什大学） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Comments 15 pages, 1 figure, Accepted to MAI-XAI@ECAI2025

SensorChat: Answering Qualitative and Quantitative Questions during Long-Term Multimodal Sensor Interactions

Xiaofan Yu, Lanxiang Hu, Benjamin Reichman, Dylan Chu, Rushil Chandrupatla, Xiyuan Zhang, Larry Heck, Tajana Rosing

机构 * University of California San Diego（加州大学圣迭戈分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Comments To appear in IMWUT'25. Code is available at: https://github.com/Orienfish/SensorChat

Enhancing Scientific Visual Question Answering through Multimodal Reasoning and Ensemble Modeling

Prahitha Movva, Naga Harshita Marupaka

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Southern California（南加州大学） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

ModuLM: Enabling Modular and Multimodal Molecular Relational Learning with Large Language Models

Zhuo Chen, Yizhen Zheng, Huan Yee Koh, Hongxin Xiang, Linjiang Chen, Wenjie Du, Yang Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Suzhou Institute for Advanced Research, USTC（先进研究所） ； Hunan University（湖南大学） ； Monash University（墨尔本大学） ； State Key Laboratory of Precision and Intelligent Chemistry, USTC（精密与智能化学国家重点实验室） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Advanced Nanostructured Topical Therapeutics for Psoriasis: Strategic Synthesis, Multimodal Characterization, and Preliminary Pharmacodynamic Profiling

Iqra Yousaf, Aqsa Yousaf

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Comments 24 pages

Robust Multi-Modal Forecasting: Integrating Static and Dynamic Features

Jeremy Qin

机构 * Department of Computer Science and Operational Research（计算机科学与运筹学系） ； Université de Montréal - Mila（蒙特利尔大学 - Mila） 纠错

专题命中 其他多模态 ：multi-modal(title)；分类 cs.AI

Multi-Modal Brain Tumor Segmentation via 3D Multi-Scale Self-attention and Cross-attention

Yonghao Huang, Leiting Chen, Chuan Zhou

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

CEC-MMR: Cross-Entropy Clustering Approach to Multi-Modal Regression

Krzysztof Byrski, Jacek Tabor, Przemysław Spurek, Marcin Mazur

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

Multimodal Programming in Computer Science with Interactive Assistance Powered by Large Language Model

Rajan Das Gupta, Md. Tanzib Hosain, M. F. Mridha, Salah Uddin Ahmed

专题命中 其他多模态 ：multimodal(title)；分类 cs.CL

Comments Accepted in Proceedings of the 27th International Conference on. Human-Computer Interaction, 2025

CountGD: Multi-Modal Open-World Counting

Niki Amini-Naieni, Tengda Han, Andrew Zisserman

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

Comments NeurIPS 2024

IMVB7t: A Multi-Modal Model for Food Preferences based on Artificially Produced Traits

Mushfiqur Rahman Abir, Md. Tanzib Hosain, Md. Abdullah-Al-Jubair, M. F. Mridha

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

Comments Accepted in Proceedings of the 3rd International Conference on Computing Advancements, 2024

OmniQuery: Contextually Augmenting Captured Multimodal Memory to Enable Personal Question Answering

Jiahao Nick Li, Zhuohao Jerry Zhang, Jiaju Ma

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Comments Paper accepted to the 2025 CHI Conference on Human Factors in Computing Systems (CHI 2025)

A comparison of extended object tracking with multi-modal sensors in indoor environment

Jiangtao Shuai, Martin Baerveldt, Manh Nguyen-Duc, Anh Le-Tuan, Manfred Hauswirth, Danh Le-Phuoc

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV

Real-Time Multimodal Signal Processing for HRI in RoboCup: Understanding a Human Referee

Filippo Ansalone, Flavio Maiorana, Daniele Affinita, Flavio Volpi, Eugenio Bugli, Francesco Petri, Michele Brienza, Valerio Spagnoli, Vincenzo Suriani, Daniele Nardi, Domenico D. Bloisi

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

Comments 11th Italian Workshop on Artificial Intelligence and Robotics (AIRO 2024), Published in CEUR Workshop Proceedings AI*IA Series

A Multi-Modal Unsupervised Machine Learning Approach for Biomedical Signal Processing in CPR

Saidul Islam, Jamal Bentahar, Robin Cohen, Gaith Rjoub

专题命中 其他多模态 ：multi-modal(title)；分类 cs.AI

Automated Segmentation and Analysis of Cone Photoreceptors in Multimodal Adaptive Optics Imaging

Prajol Shrestha, Mikhail Kulyabin, Aline Sindel, Hilde R. Pedersen, Stuart Gilson, Rigmor Baraas, Andreas Maier

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV

AI-rays: Exploring Bias in the Gaze of AI Through a Multimodal Interactive Installation

Ziyao Gao, Yiwen Zhang, Ling Li, Theodoros Papatheodorou, Wei Zeng

专题命中 其他多模态 ：multimodal(title)；分类 cs.AI

Comments Siggraph Asia 2024 Art Paper

Realtime, multimodal invasive ventilation risk monitoring using language models and BoXHED

Arash Pakbin, Aaron Su, Donald K. K. Lee, Bobak J. Mortazavi

专题命中 其他多模态 ：multimodal(title)；分类 cs.CL

Genetic Information Analysis of Age-Related Macular Degeneration Fellow Eye Using Multi-Modal Selective ViT

Yoichi Furukawa, Satoshi Kamiya, Yoichi Sakurada, Kenji Kashiwagi, Kazuhiro Hotta

专题命中 其他多模态 ：multi-modal(title)；分类 cs.CV