多模态大模型

From Structure to Synergy: A Survey of Vision-Language Perception Paradigm Evolution in Multimodal Large Language Models

从结构到协同：多模态大语言模型中视觉-语言感知范式演进综述

Haoxiang Sun, Tao Wang, Li Yuan, Jian Zhao, Jiancheng Lv

机构 * School of Computer Science, Sichuan University（四川大学计算机学院） ； School of Electronic and Computer Engineering, Peking University Shenzhen Graduate School（北京大学深圳研究生院电子与计算机工程学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom and Northwestern Polytechnical University（中国电信与西北工业大学人工智能研究院（TeleAI）） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文系统综述多模态大语言模型中统一视觉-语言感知的范式演进，提出五阶段分类法，梳理各阶段代表性方法，并指出开放挑战与未来方向。

Paying More Attention to Visual Tokens in Self-Evolving Large Multimodal Models

在自进化大型多模态模型中更加关注视觉标记

Shravan Venkatraman, Ritesh Thawkar, Omkar Thawakar, Rao Muhammad Anwer, Hisham Cholakkal, Salman Khan, Fahad Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（阿尔托大学） ； Australian National University（澳大利亚国立大学） ； Linköping University（林雪平大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出VISE框架，通过几何不变性和语义不变性奖励直接正则化视觉条件策略，解决自进化LMMs中视觉欠条件问题，在无监督设置下提升视觉语言理解。

Comments ECCV 2026

Risk-Aware Selective Multimodal Driver Monitoring with Driver-State World Modeling

风险感知的选择性多模态驾驶员监控与驾驶员状态世界建模

Daosheng Qiu, Haozhuang Chi, Hao Su, Shu Long, Xinyue Miao, Yongle Dong, Wei Zhang

机构 * Hubei University（湖北大学） ； Nanyang Technological University（南洋理工大学） ； Osaka University（大阪大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出成本感知的选择性推理框架，结合轻量级RGB-生理学生网络和门控机制，在低延迟下减少不安全决策，实现可部署的多模态驾驶员监控。

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M: CLIP的视觉基础常识推理监督

Sicheng Zhang, Muzammal Naseer, Binzhu Xie, Naufal Suryanto, Shi Qiu, Jamal Bentahar, Naveed Akhtar, Mubarak Shah

机构 * Khalifa University（卡利法大学） ； University of Western Australia（西澳大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Melbourne（墨尔本大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出ReasonCLIP-58M框架，通过两阶段策略将大规模推理监督集成到CLIP模型中，构建ReasonLite-42M和ReasonPro-16M数据集及RCLIP-Bench基准，提升视觉基础常识推理和零样本检索性能。

Comments Accepted to ECCV2026

Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

你到底有多确定？改进医学视觉问答中的口头不确定性校准

Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

机构 * Politecnico di Milano（米兰理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 针对多模态大语言模型在医学VQA中过度自信的问题，提出基于复合损失函数的微调框架，通过校准项、锚定正则化、对比对齐和KL稳定项，将校准误差降低60%以上，判别力提升26%以上。

Bridging Vision and Language Concepts through Optimal Transport Semantic Flow

通过最优传输语义流桥接视觉与语言概念

Chenyang Zhang, Anqi Dong, Guangming Zhu, Nuoye Xiong, Siyuan Wang, Lin Mei, Liang Zhang

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； KTH Royal Institute of Technology（瑞典皇家理工学院） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出最优传输流概念瓶颈模型（OTF-CBM），通过逆最优传输学习数据驱动的语义代价，并利用非平衡最优传输流匹配建模视觉块与文本概念间的语义转换，实现可解释的几何关系捕获，提升分类精度与概念忠实度。

CheXanatomy: Anatomy-Aware Vision-Language Modeling for Chest Radiographs

CheXanatomy: 面向胸部X光片的解剖感知视觉-语言建模

Sergios Gatidis, Curtis Langlotz, Christian Bluethgen

机构 * Stanford Center for Artificial Intelligence in Medicine and Imaging, Stanford University（斯坦福大学医学与影像人工智能中心） ； Department of Radiology, Stanford University（斯坦福大学放射学系） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出CheXanatomy框架，通过自回归令牌空间监督将解剖知识融入预训练视觉-语言模型，实现解剖分割，在合成和真实X光片上性能媲美U-Net，并提升域迁移鲁棒性和样本效率。

PhysReflect-VLA: Physical Feasibility and Self-Reflective Regulation for Reliable Vision-Language-Action Policies

PhysReflect-VLA：面向可靠视觉-语言-动作策略的物理可行性与自反思调节

Jiayu Yang, Tao Yang, Weijun Li, Xiang Chang, Fei Chao, Changjing Shang, Qiang Shen

机构 * Xiamen University（厦门大学） ； Aberystwyth University（阿伯里斯特威斯大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 提出PhysReflect-VLA框架，通过物理可行性评估和结构化自反思增强VLA策略，在闭环控制中实现稳定多阶段操作，平均成功率提升5.4%。

PAMAE: Phase-Aware-MoE Action Experts Towards Reliable Flow-Matching Vision-Language-Action Policies

PAMAE: 面向可靠流匹配视觉-语言-动作策略的相位感知MoE动作专家

Jiayu Yang, Tao Yang, Xiang Chang, Fei Chao, Changjing Shang, Qiang Shen

机构 * Department of Artificial Intelligence, School of Informatics, Xiamen University（厦门大学信息学院人工智能系） ； Department of Computer Science, Aberystwyth University（阿伯里斯特威斯大学计算机科学系） 纠错

专题命中 图文多模态 ：multimodal(abstract)

AI总结 针对多阶段机器人操作中VLA模型动作生成不可靠的问题，提出即插即用的相位感知混合专家动作模块PAMAE，通过稀疏专家混合和相位感知路由提升阶段一致性，在模拟任务中成功率提升9.2%。

Low Resource Multimodal Translation of Nepali Spoken Words into Emotion-Conditioned Sign Language Avatars

低资源场景下尼泊尔口语词汇到情感条件手语虚拟人物的多模态翻译

Jatin Bhusal, Salma Tamang

机构 * Center for Human Mobility and Communications, Prateek Innovations（普拉蒂克创新公司人类移动与通信中心） ； Sunway International Business School, Birmingham City University（双威国际商学院，伯明翰城市大学） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出NEST-V1框架，通过共享声学编码器实现语音识别与情感分类，生成情感条件尼泊尔手语虚拟人物，在低资源场景下验证了技术可行性。

Comments 15 pages, 5 figures, 9 tables

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

Wan-Streamer v0.1: 端到端实时交互基础模型

Lianghua Huang, Zhi-Fan Wu, Wei Wang, Yupeng Shi, Mengyang Feng, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chen Liang, Cheng Yu, Chongyang Zhong, Jinwei Qi, Kai Zhu, Pandeng Li, Peng Zhang, Wenyuan Zhang, Xinhua Cheng, Yitong Huang, Yun Zheng, Yuzheng Wang, Zoubin Bi

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 提出Wan-Streamer，一种原生流式、端到端的交互基础模型，通过单一Transformer联合建模语言、音频和视频，实现低延迟全双工音视频交互，无需外部模块。

Comments Website: https://wan-streamer.com

MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG

MIRROR: 基于新颖性约束的记忆引导MCTS红队测试用于智能体RAG

Inderjeet Singh, Andrés Murillo, Motoyoshi Sekiya, Yuki Unno, Junichi Suga

机构 * Fujitsu Research of Europe, United Kingdom（欧洲富士通研究机构，英国） ； Fujitsu Limited, Japan（日本富士通有限公司） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MIRROR框架，通过记忆引导蒙特卡洛树搜索和显式新颖性约束，在多模态智能体RAG系统的四个攻击面上实现高攻击成功率，并降低跨表面方差。

Comments 6 pages, 2 figures. Accepted at the 2026 International Joint Conference on Neural Networks (IJCNN 2026), IEEE WCCI 2026; presented as an oral talk. Code and ART-SafeBench benchmark: https://github.com/FujitsuResearch/mirror

Reviving Reflection-in-Action: Instilling Designerly Thinking in AI-Supported Ideation through Multimodal Prompting

复兴反思行动：通过多模态提示在AI支持的构思中注入设计思维

Samangi Wadinambiarachchi, Jenny Waycott, Greg Wadley

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 针对当前AI创造力支持工具主要依赖文本提示的局限，提出SketchifAI原型，通过多模态输入（文本、草图、草图加标签）增强设计学生的表达意图、创造力支持和发散思维，发现草图模态提升流畅性但用户偏好文本，探讨如何通过草图反思保留设计技能。

Comments ACM Creativity and Cognition 2026 conference (C&C'26)

HarmVideoBench: Benchmarking Harmful Video Understanding in Large Multimodal Models

HarmVideoBench：大型多模态模型中有害视频理解的基准测试

Jiajun Wu, Haoyu Kang, Yining Sun, Jiacheng Hou, Heng Zhang, Danyang Zhang, Zhenjun Zhao, Haochi Zhang, Leixin Sun, Eric Hanchen Jiang, Yushan Li, Ruiyu Li, Mengkai Huang, Yan Gao, Xu Zhang, Guancheng Wan

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） ； South China Normal University（华南师范大学） ； ByteDance Inc（字节跳动公司） ； University of Zaragoza（阿拉维达大学） ； CosmosMind ； Wuhan University（武汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Southeast University（东南大学） ； Tencent（腾讯公司） ； Nankai University（南开大学） ； Supermicro Computer Inc（Supermicro计算机公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视频多模态 ：multimodal(title)；分类 cs.CV、cs.CL

AI总结 提出HarmVideoBench，一个包含1379个视频和4137道选择题的多层次诊断基准，从三个维度评估模型对有害视频的深层理解，并引入BCR方法将宏平均准确率从61.7%提升至84.4%。

Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking

主动对抗扰动驱动的关联记忆检索用于RGB-事件视觉目标跟踪

Xiao Wang, Xufeng Lou, Zikang Yan, Lan Chen, Sibao Chen, Yaowei Wang, Yonghong Tian, Jin Tang

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Anhui University（安徽大学电子信息工程学院） ； Peng Cheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出APRTrack框架，通过分层对抗扰动模拟模态退化与局部缺失，并设计足迹引导的通道校准Hopfield检索实现鲁棒的历史信息补偿，在多个数据集上验证了有效性。

TriPAH: Imbalance-Aware Tri-Prompt Affinity Hashing for Cross-Modal Medical Retrieval

TriPAH：面向跨模态医学检索的不平衡感知三提示亲和哈希

Jiaming Bian, Songming Li, Yurui Song, Yunfei Chen, Yichao Cao, Jun Long

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.MM

AI总结 提出TriPAH框架，通过本体引导的患者级提示、轻量级提示-令牌混合器及不平衡感知多任务目标，解决跨模态医学哈希检索中的语义碎片、长尾标签和量化脆弱性问题，在三个数据集上超越现有方法。

Comments 10 pages, 3 figures, 4 tables

MKG-RAG-Bench: Benchmarking Retrieval in Multimodal Knowledge Graph-Augmented Generation

MKG-RAG-Bench：多模态知识图谱增强生成中的检索基准

Xiaochen Wang, Bao Hoang, Han Liu, Ting Wang, Fenglong Ma

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Michigan State University（密歇根州立大学） ； Dalian University of Technology（大连理工大学） ； Stony Brook University（石溪大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出MKG-RAG-Bench基准，通过构建跨领域多模态知识图谱和问答数据集，系统评估多模态知识图谱增强生成中的检索性能，揭示检索质量对生成结果的决定性作用。

Comments Accepted by KDD'26

See & Sniff: Learning Visuo-Olfactory Representations

See & Sniff: 学习视觉-嗅觉表征

Seongyu Kim, Seungwoo Lee, Hyeonggon Ryu, Joon Son Chung, Arda Senocak

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hankuk University of Foreign Studies（韩国外国语大学） ； Ulsan National Institute of Science and Technology（蔚山科学技术院） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出SmellNet-V数据集和See & Sniff自监督框架，通过密集局部对齐学习联合视觉-嗅觉表征，实现气味分类、跨模态检索和气味定位，性能提升7%。

Comments ECCV 2026. Project Page: https://mm.kaist.ac.kr/projects/SeeandSniff/

From Clicks to Intent: Cross-Platform Session Embeddings with LLM-Distilled Taxonomy for Financial Services Recommendations

从点击到意图：基于LLM提炼分类法的跨平台会话嵌入用于金融服务推荐

Dianjing Fan, Yao Li, Kyaw Hpone Myint, Dwipam Katariya, Alexandre G. R. Day, Pranab Mohanty, Giri Iyengar

机构 * Capital One 纠错

专题命中 跨模态检索 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对金融服务中网页匿名浏览与移动端登录行为差异导致的意图信号利用不足问题，提出自监督Transformer编码会话嵌入与LLM提炼分类法生成可解释标签的双用途框架，在移动端首页排序和用户转化预测任务上显著提升性能。

Comments Dianjing Fan and Yao Li equally contributed to this work. 7 pages, 1 figure

Geometry-Aware Superpixel Graph Transformer with Metadata for Skin Lesion Classification

几何感知超像素图变换器结合元数据用于皮肤病变分类

Muhammad Azeem, Tanveer Hussain, Amr Ahmed, Ardhendu Behera

机构 * Edge Hill University（埃奇希尔大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于区域的图学习框架，将病变建模为超像素图，利用几何边属性和元数据上下文节点，通过边缘感知图变换器实现多模态融合，在四个公开数据集上取得优于现有方法的分类性能。

Comments Accepted at MICCAI 2026

Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

Visual-OPSD：用于高效统一多模态推理的跨模态在策略自蒸馏

Pengyu Li, Zhitao Gao, Lingling Zhang, Muye Huang, Yuanming Li, Fangzhi Xu, Jun Liu

机构 * Xi’an Jiaotong University（西安交通大学） ； MOE KLINNS Lab（MOE KLINNS实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering（陕西省大数据知识工程重点实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CV

AI总结 提出Visual-OPSD方法，通过跨模态在策略自蒸馏，将多步扩散生成的可视化思维推理能力转移到纯文本学生模型，实现14.3倍加速且性能提升3.40个百分点。

Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards

Ask, Solve, Generate: 通过自一致性奖励实现自我进化的统一多模态理解与生成

Ritesh Thawkar, Shravan Venkatraman, Omkar Thawakar, Abdelrahman Shaker, Fahad Khan, Hisham Cholakkal, Salman Khan, Rao Muhammad Anwer

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出一个自我进化的训练框架，通过内部角色（提议者、求解者、生成者）和自一致性信号，无需人工标注或外部奖励模型，同时提升统一多模态模型的理解与生成能力。

Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning

位置重绑定缓存复用：交错多模态推理中无重放的视觉重访

Mengzhao Wang, Yanli Ji, Wangmeng Zuo, Peng Ye, Chongjun Tu

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institute（深圳河套学院） ； Harbin Institute of Technology (HIT)（哈尔滨工业大学） ； Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出位置重绑定缓存复用（PRCR）框架，通过重绑历史视觉KV缓存的位置坐标，实现无重放的高效视觉重访，在多个多模态推理基准上平均准确率提升5%，计算量减少数万倍。

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

安全自回归图像生成与迭代自改进码本

Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 针对自回归统一多模态模型生成图像的安全性问题，提出迭代自改进码本方法，利用模型自身判断不安全图像并修正码本映射，消除有害输出并保证生成质量。

Comments 10 pages including references, 8 figures, accepted for publication at the 43rd International Conference on Machine Learning (ICML 2026)

Proposal-Conditioned Latent Diffusion for Closed-Loop Traffic Scenario Generation

基于提议条件的闭环交通场景生成潜扩散模型

Shubham Vaijanath Phoolari, Aleyna Kara, Christoph Lauer, Steven Peters

机构 * CARIAD SE ； Technical University of Munich（慕尼黑工业大学） ； Institute of Automotive Engineering (FZD), TU Darmstadt（达姆施塔特工业大学汽车工程研究所（FZD）） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 提出一种基于实例场景上下文和多模态提议先验的扩散框架，通过紧凑动作潜表示和提议初始化提升采样效率，实现闭环交通场景的逼真、安全且可控生成。

Comments Accepted for publication at the IEEE International Conference on Intelligent Transportation Systems (ITSC), 2026

TAVR-VLM: Risk-Conditioned Causal Grounding for Hallucination-Resistant Report Generation

TAVR-VLM：面向抗幻觉报告生成的风险条件因果基础

Zhixiang Lu, Xiwei Liu, Sifan Song, Changkai Ji, Anh Nguyen, Jionglong Su, Imran Razzak, Jinfeng Wang

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Liverpool（利物浦大学） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 提出TAVR-VLM框架，通过风险条件因果注意力（R-CGA）建立“风险→区域→词”的结构化基础路径，在TAVR规划中减少诊断幻觉，实现新最优性能。

Accessing both electrochemical SEIRA and SERS with ultrasensitive metamaterials for enhanced molecular identification

利用超灵敏超材料同时实现电化学SEIRA和SERS以增强分子识别

Nicolas Spiesshofer, Tabitha Jones, Sarah May Sibug Torres, Zoltan Sztranyovszky, Caleb Todd, Shijie Zhu, Yeeun Roh, Rakesh Arul, Alexander Squires, Ivana Qianqi Lin, Angela Demtriadou, David O. Scanlon, Viv Lindo, Jeremy J. Baumberg

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出一种电化学可清洁的超材料，实现流动中实时联合SEIRA和SERS，通过纳米间隙折射率变化（1400 nm/RIU）实现超灵敏检测，并追踪分子电化学转化和对称性破缺。

MoGeFlow: Flowing Through Motion Codebook Geometry for Text-to-Motion Generation

MoGeFlow: 通过运动码本几何流动实现文本到运动生成

Pengcheng Fang, Tengjiao Sun, Xiaoyu Zhan, Xiaohao Cai, Dongjie Fu

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出MoGeFlow模型，利用运动码本的几何结构，通过连续流生成运动码帧，替代离散码预测，在多个基准上取得最优结果。

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA: 一个基于辐射热监督的物理基础无人机野火VQA基准

Mobin Habibpour, John Spodnik, Niloufar Alipour Talemi, Fatemeh Afghah

机构 * National Science Foundation（国家科学基金会） ； NASA（美国国家航空航天局） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出FlameVQA，一个基于FLAME 3数据集的无人机野火多选视觉问答基准，利用配对的RGB和辐射热TIFF图像实现温度基础的推理，评估了多种MLLM在检测、定位、覆盖估计等任务上的表现。

SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context

SocialPersona: 基于多模态社交媒体上下文的个性化画像与回复基准测试

Qinkai Zhang, Yanyan Zhao, Xin Lu, Yulin Hu, Pengtao Han, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 提出SocialPersona基准，评估多模态大语言模型从社交媒体时间线推断用户偏好并用于对话的能力，实验表明模型在细粒度与近期偏好上表现不足。