语言大模型 / LLM

AI Exposure Scores: what they measure, what they miss, and what comes next

AI暴露分数：它们衡量什么、遗漏什么以及下一步是什么

Campbell Lund, Thomas Euyang, Zanele Munyikwa, Marzieh Fadaee

机构 * Cohere Labs（Cohere实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文以2023年GPTs暴露分数为案例，分析静态暴露分数在政策分析中的结构性局限，并综述五种应对方法，强调需弥合研究-政策差距。

Comments 19 pages, 4 figures

Litmus: Zero-Label, Code-Driven Metric Specification for Evaluating AI Systems

Litmus: 零标注、代码驱动的AI系统评估指标规范

Prajjwal Gupta, Prasang Gupta, Vishal Bhutani, Apoorva Sharma, Sumanth Chundru, Waqar Sarguroh, Kevin Paul

机构 * PricewaterhouseCoopers, U.S.（普华永道（美国）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出Litmus系统，通过分析源代码自动生成评估指标，无需人工标注，在三个真实AI流水线上优于基线方法。

Comments 22 pages, 4 figures

MindTailor: Personalized Emotional Support via Post History-Grounded Case Formulation and Collaborative Refinement

MindTailor: 通过历史帖子基于案例构建和协作精炼的个性化情感支持

Suhyun Han, Kyunghyun Cho, JinYeong Bak

机构 * Sungkyunkwan University（成均馆大学） ； New York University（纽约大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MindTailor框架，利用求助者历史帖子构建案例，并通过基于不同咨询策略的协作批评迭代精炼回复，在Reddit数据集上优于基线，提升共情和个性化。

Comments 45 pages, 21 figures

Chehre: An Emoji-Prompted Video Dataset for Perceptually Diverse Facial Expression Recognition

Chehre: 一个用于感知多样面部表情识别的表情符号提示视频数据集

Bita Azari, Zoe Stanley, Avneet Batra, Poorvi Bhatia, Hali Kil, Manolis Savva, Angelica Lim

机构 * Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 提出Chehre数据集，通过表情符号提示收集动态面部表情视频，并转移至合成人脸以保护隐私，定义主导和分布表情识别任务，基准测试显示现有模型表现有限。

Comments 16 pages, 8 images

CulMind: Benchmarking Multimodal Understanding and Reasoning in Chinese Cultural Heritage

CulMind：中国文化遗产中的多模态理解与推理基准

Zhangwei Cao, Shuhan Fan, Yuting Wei, Jiajun Zhang, Yihang Peng, Qi Meng, Yangfu Zhu, Liangbin Yang

机构 * University of International Relations（国际关系学院） ； Kedge Business School（凯致商学院） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Capital Normal University（首都师范大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对现有基准忽视推理过程的问题，提出CulMind和CulMind-R基准，涵盖50个任务和24个推理子任务，并设计ReaScore指标评估推理质量，揭示答案与推理之间的差距。

FleetAgent: Teleoperation Assistant for Autonomous Fleets via Vectorized V2N Messages

FleetAgent: 通过向量化V2N消息实现自主车队远程操作助手

Juntong Peng, Qi Chen, Deyuan Qu, Takayuki Shimizu, Yaobin Chen, Ziran Wang

机构 * College of Engineering, Purdue University（普渡大学工程学院） ； Toyota InfoTech Labs（丰田信息技术实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FleetAgent，一种基于多模态大语言模型的云端助手，通过紧凑的向量化V2N消息实现高效远程操作监控，显著降低上行负载和内存占用，并提升操作员优先级判断与干预效果。

CourseBlueprint: A Structured Pipeline for Adaptive Pedagogical Video Generation Grounded in Course Corpora

CourseBlueprint：基于课程语料库的自适应教学视频生成的结构化流程

Md Zabirul Islam, Md Motaleb Hossen Manik, Ge Wang

机构 * Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，拉特格斯理工学院） ； Department of Biomedical Engineering, Rensselaer Polytechnic Institute（生物医学工程系，拉特格斯理工学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CourseBlueprint流程，通过结构化教学蓝图（含先决条件图、自适应控制、参与合约）从课程语料库生成自适应教学视频，实验证明显式教学合约比表面流畅性更关键。

Probe-and-Refine Tuning of Repository Guidance for Coding Agents

代码代理的仓库指导的探测与精炼调优

Asa Shepard, Jeannie Albrecht

机构 * Williams College（威廉姆斯学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出探测与精炼调优方法，通过合成bug修复探测迭代诊断和修补仓库指导文件，在SWE-bench Verified上以Qwen3.5-35B-A3B模型达到33.0%解决率，优于静态知识库的28.3%和无指导基线的25.5%。

Evaluating and Enhancing Negation Comprehension in Remote Sensing MLLMs

评估与增强遥感多模态大语言模型的否定理解能力

Haochen Han, Jue Wang, Alex Jinpeng Wang, Fangming Liu

机构 * Peng Cheng Laboratory（鹏城实验室） ； Tsinghua University（清华大学） ； Central South University（中南大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出RS-Neg基准评估遥感MLLMs的否定理解，并设计NeFo方法通过测试时学习利用约5%未标注样本显著提升模型性能。

Comments ECCV 2026 Accepted

Design-MLLM: A Reinforcement Alignment Framework for Verifiable and Aesthetic Interior Design

Design-MLLM：一种用于可验证且美观的室内设计的强化对齐框架

Yuxuan Yang, Xiaotong Mao, Jingyao Wang

机构 * National Jiangsu University of Finance（江苏财经大学） ； University of Lorraine（洛林大学） ； Institute of Electronics and Information Technology, Chinese Academy of Sciences（中国科学院电子信息技术研究所） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出Design-MLLM框架，通过双分支美学导向奖励的强化对齐，解决室内设计中空间可行性硬约束与美学偏好软约束的矛盾，生成既可行又美观的设计。

DeepResearch-9K: A Challenging Benchmark Dataset of Deep-Research Agent

DeepResearch-9K：一个具有挑战性的深度研究智能体基准数据集

Tongzhou Wu, Yuhao Wang, Xinyu Ma, Xiuqiang He, Shuaiqiang Wang, Dawei Yin, Xiangyu Zhao

机构 * Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 为解决深度研究智能体缺乏大规模挑战性数据集和开源训练框架的问题，构建了DeepResearch-9K数据集，包含9000个多难度问题、搜索轨迹和可验证答案，并开发了开源训练框架DeepResearch-R1，实验表明训练后的智能体在基准测试上达到最优。

Comments 6 pages, 4 figures

Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake

弥合年龄差距：面向检测神经音频编解码器合成的老年语音深度伪造

Orchid Chetia Phukan, Girish, Mohd Mujtaba Akhtar, Chi-Chun Lee

机构 * BIIC Lab, NTHU, Taiwan（国立台湾大学BIIC实验室） ； UPES, India（印度UPES大学） ； VBSPU, India（印度VBSPU大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)

AI总结 提出老年语音编解码伪造检测（ECFD）任务，发布中英文ECF数据集，发现现有检测器泛化差，利用多模态基础模型融合（BONSAI框架）实现1.66%平均等错误率，建立新基准。

Comments Accepted to INTERSPEECH 2026

SemCEB: A Cardinality Estimation Benchmark for Semantic Operators

SemCEB：面向语义操作符的基数估计基准

Andreas Zimmerer, Claudius Kühn, Yang Li, Mihail Stoian, Renata Borovica-Gajic, Andreas Kipf

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 提出SemCEB基准，用于评估语义过滤和连接操作符的基数估计方法，基于真实多模态数据，评估采样和语义直方图方法的准确性、成本、延迟和内存开销。

Catching Lies Without Sending the Video: Privacy-Preserving Multimodal Deception Detection

无需发送视频即可识谎：隐私保护的多模态欺骗检测

Nikita Sharma, Pranav Sara, Karan Singla

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Case Western Reserve University, Ohio（凯斯西储大学） ； WhissleAI, USA（WhissleAI（美国）） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 提出Whissle方法，通过设备端提取文本、情感、行为等紧凑摘要，在无需传输原始视频的情况下实现与云端模型相当的欺骗检测性能（AUC 0.741），并揭示先前75%准确率存在说话者泄露问题。

From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa

从语音到文本语料库：评估基于ASR的低资源Fongbe和豪萨语数据采集

Mahounan Pericles Adjovi, Victor Olufemi, Roald Eiselen, Prasenjit Mitra

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） ； North-West University（北开普大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究利用ASR管道为低资源非洲语言Fongbe（声调语言）和豪萨语（非声调语言）扩展文本语料，通过微调MMS-300M和Whisper-Small模型，在Fongbe上实现9.48%的词错误率（相对降低78%），并评估转录质量，发现豪萨语接近可用而Fongbe需后处理。

Comments 10 pages, 1 figure, 4 tables

WildBox: A Dataset and Benchmark for Aerial Monocular 3D Detection of African Savanna Wildlife

WildBox: 非洲稀树草原野生动物航拍单目3D检测数据集与基准

Vandita Shukla, Kilian Meier, Lucie Laporte-Devylder, Camille Rondeau Saint-Jean, Jenna M. Kline, Blair R. Costelloe, Devis Tuia, Fabio Remondino, Benjamin Risse

机构 * D Optical Metrology Unit, Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会3D光学计量部） ； Computer Vision and Machine Learning Systems group, Institute for Geoinformatics, University of Muenster（明斯特大学地理信息学研究所计算机视觉与机器学习系统组） ； School of Civil, Aerospace and Design Engineering, University of Bristol（布里斯托大学土木、航空航天与设计工程学院） ； Department of Biology, University of Southern Denmark（南丹麦大学生物学系） ； The Ohio State University（俄亥俄州立大学） ； Department of Collective Behavior, Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所集体行为系） ； University of Konstanz（康斯坦茨大学） ； Centre for the Advanced Study of Collective Behaviour, University of Konstanz（康斯坦茨大学集体行为高级研究中心） ； Department of Biology, University of Konstanz（康斯坦茨大学生物学系） ； Environmental Computational Science and Earth Observation Laboratory, EPFL（瑞士联邦理工学院环境计算科学与地球观测实验室） 纠错

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)

AI总结 提出WildBox数据集，含23.7万3D框标注，评估两种开放词汇单目3D架构，发现零样本3D检测失败，微调后恢复性能，深度估计是主要瓶颈。

Beyond 'One Language, One Script': Quantifying Orthographic Bias in Multilingual VLMs with PuMVR

超越“一种语言，一种文字”：用PuMVR量化多语言视觉语言模型中的正字法偏差

Prabhjot Singh, Bhushan Pawar, Madhu Reddiboina

机构 * RediMinds Inc.（RediMinds公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PuMVR基准，通过旁遮普语三种文字的图像推理任务，量化多语言视觉语言模型中的文字依赖偏差，发现文字一致性率低至24.8%，视觉输入无法消除偏差。

Comments 22 pages, 4 figures. Accepted to the 4th Workshop on Cross-Cultural Considerations in NLP (C3NLP) @ ACL 2026

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

How to Take a Memorable Picture? Empowering Users with Actionable Feedback

如何拍摄令人难忘的照片？通过可操作反馈赋能用户

Francesco Laiti, Davide Talon, Jacopo Staiano, Elisa Ricci

机构 * University of Trento（特伦托大学） ； University of Pisa（比萨大学） ； Travelbrain srl（Travelbrain公司） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出MemFeed任务，通过MemCoach利用多模态大语言模型提供自然语言建议，提升图像回忆性，展示其在多个模型上的有效性。

Comments Accepted @ CVPR 2026. Project page: https://laitifranz.github.io/MemCoach/

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 29738-29749

Impacts of Aggregation on Model Diversity and Consumer Utility

聚合对模型多样性与消费者效用的影响

Kate Donahue, Manish Raghavan

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 研究探讨了聚合对模型多样性和消费者效用的影响，提出加权胜率机制以提升生产者专业化和消费者福利。

Measuring What Persists: Conditioning Mechanisms and a Geometric Framework for AI Agent Identity

测量持续存在的内容：AI智能体身份的调节机制与几何框架

Andrew Tanner

机构 * Anisotrope AI 纠错

专题命中 评测与基准 ：post-training(abstract)；分类 cs.CL、cs.AI

AI总结 提出基于√JSD度量空间和丰富范畴理论中幅度同调的几何框架，用于测量AI智能体身份结构，发现双机制调节结构：身份真空簇和安全盆地簇，并通过等边探针基线验证身份规范创造可测量的行为丰富性。

Comments 29 pages, 6 figures, 8 tables

Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

陪审团职责：文化模糊性下MLLM作为评判者的校准与定向失败

Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

机构 * Salesforce AI Research（Salesforce AI 研究院） ； University of Cambridge（剑桥大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） ； Carnegie Mellon University（卡内基梅隆大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 针对MLLM作为评判者在跨文化场景中的偏差问题，提出VOIR DIRE基准，通过分析校准失败（压缩尺度）和定向失败（默认一种文化规范），揭示模型偏向于更宽容的文化解读。

Comments Under Review

An Offline Mobile Conversational Agent for Mental Health Support: Learning from Emotional Dialogues and Psychological Texts with Student-Centered Evaluation

面向心理健康支持的离线移动对话代理：通过情感对话和心理文本学习并以学生为中心评估

Vimaleswar A, Prabhu Nandan Sahu, Nilesh Kumar Sahu, Haroon R. Lone

机构 * Department of Electrical Engineering and Computer Science, Indian Institute of Science Education and Research Bhopal（电子工程与计算机科学系，比哈尔印度科学教育与研究中心） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EmoSApp，一个离线智能手机应用，利用定制知识数据集训练的语言模型，提供心理健康支持，并通过学生和专业人员的定性评估及多项基准测试验证其在低资源环境下的有效性。

Journal ref https://aclanthology.org/2025.ijcnlp-long.191/

EEG Benchmarking Needs a Task Specification Layer: NeuroDoc for Rulebook-Guided, Executable Benchmark Construction

EEG基准测试需要一个任务规范层：NeuroDoc用于基于规则手册的可执行基准构建

Chengxuan Qin, Zhige Chen, Shu Peng, Rui Yang, Jiping Cui, Yikai Dong, Jun Li, Liu Peng, Zhida Shang, Mingze Tang, Kay Chen Tan, Jibin Wu

机构 * School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院） ； School of Electrical Engineering, Electronics and Computer Science, University of Liverpool（利物浦大学电气工程、电子与计算机科学学院） ； School of Computer Science and Informatics, University of Liverpool（利物浦大学计算机科学与信息学学院） ； Department of Data Science and Artificial Intelligence, Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.LG

AI总结 提出NeuroDoc框架，通过结构化任务规范语言和共享规则手册，将异构EEG数据集标准化为可重用基准单元，并发布包含53个条目、245个任务定义的社区审查基准语料库。

When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents

当AUC 0.998还不够：多模态计算机使用智能体中隐藏状态探针对间接提示注入的候选评估协议

Yanhang Li, Zhichao Fan, Zexin Zhuang

机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Southern Methodist University（南卫理公会大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.LG

AI总结 本文通过单骨干案例研究，论证高AUC不能直接证明恶意内容检测，提出后验诊断和候选控制集来明确探针能力的边界。

Comments 17 pages, 3 figures. Camera-ready version for EvalMG '26, The 2nd Workshop on Evaluation for Multimodal Generation, co-located with SIGIR 2026

Are Multilingual Models Actually Improving? Isolating True Cross-Lingual Transfer

多语言模型真的在改进吗？隔离真正的跨语言迁移

Prasoon Bajpai, Eleftheria Briakou, Colin Cherry, Preethi Jyothi, Vihari Piratla

机构 * Google DeepMind（谷歌DeepMind） ； Indian Institute of Technology Bombay（印度理工学院孟买分校） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 提出硬度调整迁移（HAT）分数以准确衡量跨语言迁移强度，发现小模型迁移未失效、随模型大小迁移进步慢于预期、但随时间推移有明显进步。

MIRCaps: A Large-Scale Mixed-Domain Dataset with Image-Level and Region-Level Captions for Fine-Grained Vision-Language Learning

MIRCaps: 一个大规模混合域数据集，包含图像级和区域级描述，用于细粒度视觉-语言学习

Arlindo Luciano Tulumba Roberto, Hyungjoon Kim

机构 * Changwon National University（昌原国立大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 为解决通用与监控视频领域的混合域图像-描述数据集匮乏问题，构建了包含14万图像、98万图像级描述、174万区域级描述和139万边界框的大规模数据集，通过互补描述类型帮助视觉语言模型学习细粒度视觉属性，并在图像描述和目标检测任务上验证了有效性。

Social World Model for Lifelong Social Intelligence

社会世界模型：面向终身社会智能

Yu Luo

机构 * Central South University（中南大学） 纠错

专题命中 评测与基准 ：language agent(abstract)；分类 cs.AI

AI总结 提出社会世界模型，将社交互动分解为五个维度构建闭环学习框架，并配套数据合成机制与终身学习基准，使小模型可持续获取社会协调能力。

Comments 13 pages, 2 figures

ConnectomeBench2: A Unified Benchmark for Automated Connectomic Proofreading

ConnectomeBench2：用于自动连接组校对的标准基准

Jeff Brown, Tim Farkas, Gleb Razgar, Edward S. Boyden

机构 * MIT（麻省理工学院） ； The Open University（开放大学） ； Mindspan Institute（Mindspan研究所） ； Yang Tan Collective（杨谭集团） ； McGovern Institute（麦戈文研究所） ； MIT Departments of Brain and Cognitive Sciences and Biological Engineering（麻省理工学院脑与认知科学系和生物工程系） 纠错

专题命中 评测与基准 ：pretraining(abstract)；分类 cs.AI

AI总结 提出ConnectomeBench2基准，包含超过716,485个专家标注的校对决策，训练单一Vision Transformer模型，在跨物种的分割错误校正和合并错误识别上达到人类水平。

CheXpercept: A Benchmark for Evaluating Expert-Level Lesion Perception in Chest X-rays

CheXpercept: 评估胸部X光片中专家级病变感知的基准

Geon Choi, Hangyul Yoon, Nalee Kim, Jeong Yun Jang, Hyunju Shin, Hyunki Park, Sang Hoon Seo, Edward Choi

机构 * KAIST（韩国科学技术院） ； Samsung Medical Center（三星医疗中心） ； Konkuk University Medical Center（建国大学医疗中心） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 提出CheXpercept基准，通过粗粒度检测、细粒度轮廓评估与修正、语义级属性提取三个层次评估视觉语言模型在胸部X光片上的专家级病变感知能力，发现当前模型仅在粗粒度任务上表现良好。