多模态大模型

Deep Literature Survey Automation with an Iterative Workflow

Hongbo Zhang, Han Cui, Yidong Wang, Yijian Tian, Qi Guo, Cunxiang Wang, Jian Wu, Chiyu Song, Yue Zhang

机构 * Zhejiang University（浙江大学） ； School of Engineering, Westlake University（西湖大学工程学院） ； Peking University（北京大学） ； Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖先进研究院技术研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments Preprint version

See, Think, Act: Online Shopper Behavior Simulation with VLM Agents

Yimeng Zhang, Jiri Gesi, Ran Xue, Tian Wang, Ziyi Wang, Yuxuan Lu, Sinong Zhan, Huimin Zeng, Qingjun Cui, Yufan Guo, Jing Huang, Mubarak Shah, Dakuo Wang

机构 * Michigan State University（密歇根州立大学） ； Amazon（亚马逊） ； Northeastern University（东北大学） ； Northwestern University（西北大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI、cs.MM

General-Purpose Robotic Navigation via LVLM-Orchestrated Perception, Reasoning, and Acting

Bernard Lange, Anil Yildiz, Mansur Arief, Shehryar Khattak, Mykel Kochenderfer, Georgios Georgakis

机构 * Stanford University（斯坦福大学） ； Jet Propulsion Laboratory（喷气推进实验室） ； California Institute of Technology（加州理工学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

A Large-Language-Model Assisted Automated Scale Bar Detection and Extraction Framework for Scanning Electron Microscopic Images

Yuxuan Chen, Ruotong Yang, Zhengyang Zhang, Mehreen Ahmed, Yanming Wang

机构 * Shanghai Jiao Tong Global College（上海交通大学全球学院） ； Shanghai Jiao Tong University（上海交通大学） ； Global Institute of Future Technology（全球未来技术研究院） ； AI Lab, Xiaomi Corporation（小米公司AI实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments 14 pages, 6 figures

Neural Brain: A Neuroscience-inspired Framework for Embodied Agents

Jian Liu, Xiongtao Shi, Thai Duy Nguyen, Haitian Zhang, Tianxiang Zhang, Wei Sun, Yanjie Li, Athanasios V. Vasilakos, Giovanni Iacca, Arshad Ali Khan, Arvind Kumar, Jae Won Cho, Ajmal Mian, Lihua Xie, Erik Cambria, Lin Wang

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） ； School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院） ； School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院） ； Department of Information and Communication Technology, University of Agder（阿格德大学信息与通信技术系） ； Department of Information Engineering and Computer Science, University of Trento（特伦特大学信息工程与计算机科学系） ； Elm Company（Elm公司） ； Division of Computational Science and Technology, KTH Royal Institute of Technology（皇家理工学院计算科学与技术系） ； School of Artificial Intelligence and Data Science, Sejong University（世宗大学人工智能与数据科学学院） ； Department of Computer Science of the University of Western Australia（西澳大学计算机科学系） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 51 pages, 17 figures, 9 tables

\textsc{GUI-Spotlight}: Adaptive Iterative Focus Refinement for Enhanced GUI Visual Grounding

Bin Lei, Nuo Xu, Ali Payani, Mingyi Hong, Chunhua Liao, Yu Cao, Caiwen Ding

机构 * University of Minnesota（明尼苏达大学） ； Cisco Research（思科研究） ； Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

LLM-Based Data Science Agents: A Survey of Capabilities, Challenges, and Future Directions

Mizanur Rahman, Amran Bhuiyan, Mohammed Saidul Islam, Md Tahmid Rahman Laskar, Ridwan Mahbub, Ahmed Masry, Shafiq Joty, Enamul Hoque

机构 * York University（约克大学） ； Vector Institute for AI（人工智能矢量研究所） ； Dialpad Inc.（Dialpad公司） ； Nanyang Technological University（南洋理工大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments Survey paper; 45 data science agents; under review

Generalist Scanner Meets Specialist Locator: A Synergistic Coarse-to-Fine Framework for Robust GUI Grounding

Zhecheng Li, Guoxian Song, Yiwei Wang, Zhen Xiong, Junsong Yuan, Yujun Cai

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； ByteDance（字节跳动） ； University of California, Merced（加州大学默塞德分校） ； University of Southern California（南加州大学） ； University at Buffalo（布法罗大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV、cs.CL

LABELING COPILOT: A Deep Research Agent for Automated Data Curation in Computer Vision

Debargha Ganguly, Sumit Kumar, Ishwar Balappanawar, Weicong Chen, Shashank Kambhatla, Srinivasan Iyengar, Shivkumar Kalyanaraman, Ponnurangam Kumaraguru, Vipin Chaudhary

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

Challenges and Trends in Egocentric Vision: A Survey

Xiang Li, Heqian Qiu, Lanxiao Wang, Hanwen Zhang, Chenghao Qi, Linfeng Han, Huiyu Xiong, Hongliang Li

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments This article was accepted by Machine Intelligence Research

GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering

Saumya Saxena, Blake Buchanan, Chris Paxton, Peiqi Liu, Bingqing Chen, Narunas Vaskevicius, Luigi Palmieri, Jonathan Francis, Oliver Kroemer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Neya Systems（Neya系统） ； Agility Robotics（敏捷机器人） ； Hello Robot ； Bosch Center for AI（博世人工智能中心） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL

Comments Project website: https://saumyasaxena.github.io/grapheqa

Agentic AI with Orchestrator-Agent Trust: A Modular Visual Classification Framework with Trust-Aware Orchestration and RAG-Based Reasoning

Konstantinos I. Roumeliotis, Ranjan Sapkota, Manoj Karkee, Nikolaos D. Tselikas

机构 * University of the Peloponnese, Department of Informatics and Telecommunications（希腊皮埃蒙特大学信息与电信系） ； Cornell University, Department of Biological and Environmental Engineering（康奈尔大学生物与环境工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

Domain Adaptive SAR Wake Detection: Leveraging Similarity Filtering and Memory Guidance

He Gao, Baoxiang Huang, Milena Radenkovic, Borui Li, Ge Chen

机构 * College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院） ； Laboratory for Regional Oceanography and Numerical Modeling, Qingdao Marine Science and Technology Center（青岛海洋科学与技术中心区域海洋学与数值模拟实验室） ； School of Computer Science and Information Technology, The University of Nottingham（诺丁汉大学计算机科学与信息学院） ； State Key Laboratory of Physical Oceanography, Department of Marine Technology, Ocean University of China（中国海洋大学物理海洋学国家重点实验室，海洋技术系） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV、cs.AI

ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation

Zekai Zhang, Weiye Zhu, Hewei Pan, Xiangchen Wang, Rongtao Xu, Xing Sun, Feng Zheng

机构 * Southern University of Science and Technology, China（南方科技大学，中国） ； Spatialtemporal AI, China（时空AI，中国） ； MBZUAI, UAE（MBZUAI，阿联酋） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 多模态Agent ：MLLM(abstract)；分类 cs.CV、cs.AI

Small Models, Big Results: Achieving Superior Intent Extraction through Decomposition

Danielle Cohen, Yoni Halpern, Noam Kahlon, Joel Oren, Omri Berkovitch, Sapir Caduri, Ido Dagan, Anatoly Efros

机构 * Google（谷歌） ； Bar-Ilan University（巴伊兰大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

Mind Meets Space: Rethinking Agentic Spatial Intelligence from a Neuroscience-inspired Perspective

Bui Duc Manh, Soumyaratna Debnath, Zetong Zhang, Shriram Damodaran, Arvind Kumar, Yueyi Zhang, Lu Mi, Erik Cambria, Lin Wang

机构 * School of EEE, Nanyang Technological University（南洋理工大学电子工程系） ； Department of Civil Engineering, Tsinghua University（清华大学土木工程系） ； Dr. B. R. Ambedkar National Institute of Technology, Jalandhar（B.R.阿姆贝卡尔国家理工学院，贾兰德赫） ； KTH Royal Institute of Technology（皇家理工学院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； CCDS, Nanyang Technological University（南洋理工大学CCDS） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 54 pages, journal

Morae: Proactively Pausing UI Agents for User Choices

Yi-Hao Peng, Dingzeyu Li, Jeffrey P. Bigham, Amy Pavel

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments ACM UIST 2025

Survey of Specialized Large Language Model

Chenghan Yang, Ruiyu Zhao, Yang Liu, Ling Jiang

机构 * Xiaoduo AI（小多AI） ； Shanghai Jiao Tong University（上海交通大学） ； East China University of Science and Technology（东华大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 1 figures

CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers

Dimitrios Mallis, Ahmet Serdar Karadeniz, Sebastian Cavada, Danila Rukhovich, Niki Foteinopoulou, Kseniya Cherenkova, Anis Kacem, Djamila Aouada

机构 * SnT, University of Luxembourg（斯诺特研究所，卢森堡大学） ； Artec3D, Luxembourg（Artec3D，卢森堡） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI

Yang Liu, Weixing Chen, Yongjie Bai, Xiaodan Liang, Guanbin Li, Wen Gao, Liang Lin

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Sun Yat-sen University（中山大学） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东大数据分析与处理重点实验室） ； Peng Cheng Laboratory（鹏城实验室） ； Institute of Digital Media, Peking University（北京大学数字媒体研究院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments The comprehensive review of Embodied AI. We also provide the resource repository for Embodied AI: https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List

T-REX: Table -- Refute or Entail eXplainer

Tim Luka Horstmann, Baptiste Geisenberger, Mehwish Alam

机构 * Institut Polytechnique de Paris（巴黎政治科技学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

SOFA: Deep Learning Framework for Simulating and Optimizing Atrial Fibrillation Ablation

Yunsung Chung, Chanho Lim, Ghassan Bidaoui, Christian Massad, Nassir Marrouche, Jihun Hamm

机构 * Department of Computer Science, Tulane University（计算机科学系， Tulane大学） ； School of Medicine, Tulane University（医学院， Tulane大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

Comments Accepted at MICCAI 2025. This is the author's original preprint

RoBridge: A Hierarchical Architecture Bridging Cognition and Execution for General Robotic Manipulation

Kaidong Zhang, Rongtao Xu, Pengzhen Ren, Junfan Lin, Hefeng Wu, Liang Lin, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； MBZUAI ； Peng Cheng Laboratory（鹏城实验室） ； X-Era.AI Inc.（X-Era.AI公司） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments project page: https://abliao.github.io/RoBridge/

DatasetAgent: A Novel Multi-Agent System for Auto-Constructing Datasets from Real-World Images

Haoran Sun, Haoyu Bian, Shaoning Zeng, Yunbo Rao, Xu Xu, Lin Mei, Jianping Gou

机构 * Yangtze Delta Region Institute (Huzhou), University of Electronic and Science Technology of China（长江三角洲地区研究院（湖州），电子科技大学） ； School of Information and Software Engineering, University of Electronic and Science Technology of China（电子科技大学信息与软件工程学院） ； Zhejiang Chuangjiekedong Ltd., Huzhou, Zhejiang, China（浙江创杰科技有限公司） ； DongHai Laboratory, Zhoushan, Zhejiang, China（东海实验室） ； College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

MIRIX: Multi-Agent Memory System for LLM-Based Agents

Yu Wang, Xi Chen

机构 * MIRIX AI 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

LTMSformer: A Local Trend-Aware Attention and Motion State Encoding Transformer for Multi-Agent Trajectory Prediction

Yixin Yan, Yang Li, Yuanfan Wang, Xiaozhou Zhou, Beihao Xia, Manjiang Hu, Hongmao Qin

机构 * College of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与车辆工程学院） ； School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

An HTR-LLM Workflow for High-Accuracy Transcription and Analysis of Abbreviated Latin Court Hand

Joshua D. Isom

机构 * Lehigh University（莱文大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

Data Agent: A Holistic Architecture for Orchestrating Data+AI Ecosystems

Zhaoyan Sun, Jiayi Wang, Xinyang Zhao, Jiachi Wang, Guoliang Li

机构 * Department of Computer Science, Tsinghua University（计算机科学系，清华大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

Ella: Embodied Social Agents with Lifelong Memory

Hongxin Zhang, Zheyuan Zhang, Zeyuan Wang, Zunzhe Zhang, Lixing Fang, Qinhong Zhou, Chuang Gan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校） ； Johns Hopkins University（约翰霍普金斯大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

PEACE: Empowering Geologic Map Holistic Understanding with MLLMs

Yangyu Huang, Tianyi Gao, Haoran Xu, Qihao Zhao, Yang Song, Zhipeng Gui, Tengchao Lv, Hao Chen, Lei Cui, Scarlett Li, Furu Wei

机构 * Microsoft Research（微软研究院） ； Chinese Academy of Geological Sciences（中国地质科学研究院） ； Wuhan University（武汉大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI