语言大模型 / LLM

Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval

面向鲁棒的上下文学习：利用分布外代理进行目标不可访问的演示检索

Hao Xu, Rite Bo, Fausto Giunchiglia, Yingji Li, Rui Song

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） ； Department of Information Engineering and Computer Science, University of Trento, Italy（特伦托大学信息工程与计算机科学系） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DOPA框架，通过引入分布外代理近似不可访问的目标域并利用马氏距离全局多样性约束，提升大语言模型在分布偏移下的鲁棒性。

Comments Accepted by ACL 2026 main

v-HUB: A Benchmark for Video Humor Understanding from Vision and Sound

v-HUB: 从视觉和声音理解视频幽默的基准

Zhengpeng Shi, Yanpeng Zhao, Jianqun Zhou, Yuxuan Wang, Qinrong Cui, Wei Bi, Songchun Zhu, Bo Zhao, Zilong Zheng

机构 * Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Beijing Institute for General Artificial Intelligence（北京一般人工智能研究院） ； Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出v-HUB基准，通过非语言短视频评估多模态大语言模型在仅凭视觉线索理解幽默的能力，并发现音频信息有助于提升幽默理解。

Comments 24 pages, 9 figures

Evaluating Reliability Asymmetries in Chinese Factual Search and AI Answers

评估中文事实搜索与AI答案中的可靠性不对称性

Geng Liu, Li Feng, Mengxiao Zhu, Francesco Pierri

机构 * Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过构建基于真实中文搜索日志的查询事实核查数据集，比较传统搜索引擎、大型语言模型和搜索集成AI概览在中文是非问题上的准确性、回答频率、极性差距及区域信息需求差异，揭示可靠性不仅取决于回答正确性，还受回答频率、否定主张处理和信息需求暴露风险影响。

LLM4Cov: Execution-Aware Agentic Learning for High-coverage Testbench Generation

LLM4Cov：面向高覆盖率测试生成的执行感知智能体学习

Hejia Zhang, Zhongming Yu, Chia-Tung Ho, Haoxing Ren, Brucek Khailany, Jishen Zhao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出LLM4Cov离线智能体学习框架，通过执行验证数据策展、策略感知数据合成和最差状态优先采样，在硬件验证中实现高覆盖率测试生成，4B参数模型在CVDP-ECov上达到69.2%通过率和90.4%平均覆盖率。

Comments ICML'26 Camera Ready version

SN-WER: Script-Normalized WER for Multi-Script Indic ASR Evaluation

SN-WER：用于多脚本印度语ASR评估的脚本归一化词错误率

Priyaranjan Pattnayak

机构 * Oracle America Inc.（Oracle美国公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出SN-WER指标，通过将参考和假设文本音译为规范脚本后计算WER，解决多脚本场景下WER高估错误的问题，在印度语上评估显示可减少高达12%的模型差距。

Comments Accepted to ACL 2026 MeLLM

Transferable Self-Harm Surveillance from Emergency Department Triage Notes Using an Evidence-Augmented Machine Learning Approach

基于证据增强机器学习方法的急诊科分诊笔记可迁移自伤监测

Liuliu Chen, Gowri Rajaram, Eleanor Bailey, Katrina Witt, Michelle Lamblin, Jo Robinson, Mike Conway, Vlada Rozova

机构 * School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系） ； Orygen ； Centre for Youth Mental Health, University of Melbourne（墨尔本大学青年心理健康中心） ； Centre for Digital Transformation of Health, University of Melbourne（墨尔本大学医疗数字化转型中心） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出一种结合大语言模型筛选与证据提取的三阶段机器学习方法，从急诊科分诊笔记中检测自伤行为，并在三家澳大利亚医院验证了其高可迁移性和细粒度监测能力。

Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events

Moment-Video: 诊断视频多模态大语言模型在瞬时视觉事件上的时间保真度

Xiaolin Liu, Yilun Zhu, Xiangyu Zhao, Xuehui Wang, Yan Li, Xin Li, Haoyu Cao, Xing Sun, Shaofeng Zhang, Xu Yang, Zhihang Zhong, Xue Yang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Southeast University（东南大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出 Moment-Video 基准，通过瞬时视觉事件理解任务诊断视频 MLLMs 的时间保真度，发现最佳模型准确率仅 39.6%，多数开源模型低于 25%。

Comments 28 pages, 10 figures, 11 tables

K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts

K-BrowseComp：基于韩国语境的网页浏览代理基准测试

Nahyun Lee, Dongkeun Yoon, Guijin Son, Geewook Kim, Dayoon Ko, Jeonghun Park, Haneul Yoo, Jaewon Cho, Junghun Park, Changyoon Lee, Kyochul Jang, Jaeyeon Kim, Eunsu Kim, Woojin Cho, Seungone Kim

机构 * Chung-Ang University（Chung-Ang 大学） ； KAIST（韩国科学技术院） ； Seoul National University（首尔国立大学） ； OnelineAI ； NAVER Cloud AI ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；foundation model(abstract)；分类 cs.CL

AI总结 针对韩国语境，构建包含400个问题的网页浏览代理基准K-BrowseComp，评估前沿模型性能，发现其准确率显著低于BrowseComp，并公开数据与代码。

BADGER: Bridging Agentic and Deterministic Evaluation for Generative Enterprise Reasoning

BADGER：桥接生成式企业推理的自主与确定性评估

Shannon Serrao, Soumitra Chatterjee, Dorina Strori, Abhishek Sharma, Nathan Miller

机构 * Merkle Analytics 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出BADGER框架，统一文本到SQL评估与自主行为评估，通过混合执行准确率指标（Hybrid-EX）和自主评估套件，在工业查询上超越现有方法。

Comments 30 pages, 2 figures, 6 tables

RoleCDE:Benchmarking and Mitigating Role-Alignment Trade-offs in Role-Playing Agents

RoleCDE：角色扮演代理中的角色-对齐权衡的基准测试与缓解

Huayi Lai, Shichao Song, Simin Niu, Hanyu Wang, Jiawei Yang, Zhouxing Wang, Zhiqiang Yin, Xun Liang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对角色扮演代理在角色特定价值与对齐约束冲突时的决策问题，提出首个基准RoleCDE，通过认知困境场景评估角色-场景基础、价值冲突解决和决策倾向，发现“角色价值解耦”现象，并基于RoleCDE的微调有效缓解该问题。

Comments 23pages

DrugClaw and DrugAudit: A Primary-Source-Grounded Agent and Authority-Aware Benchmark for Drug-Information Question Answering

DrugClaw与DrugAudit：基于原始来源的智能体与权威感知基准用于药物信息问答

Qing Wang, Bo Li, Jialu Liang, Daling Shi, Bob Zhang, Qianqian Song

机构 * Department of Health Outcomes and Biomedical Informatics, College of Medicine, University of Florida（佛罗里达大学健康结局与生物医学信息学系，医学院） ； PAMI Research Group, Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院计算机与信息科学系PAMI研究组） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出多智能体检索增强系统DrugClaw，通过反射驱动状态机查询药物注册与药物警戒知识库，并构建含3772条权威感知基准DrugAudit，在多个基准上取得最优性能。

Chunking Methods on Retrieval-Augmented Generation - Effectiveness Evaluation Against Computational Cost and Limitations

检索增强生成中的分块方法——针对计算成本与局限性的有效性评估

Mateusz Śmigielski, Michał Rajkowski, Mateusz Zbrocki, Michał Bernacki-Janson, Karol Kunicki, Julianna Godziszewska, Maciej Piasecki, Konrad Wojtasik

机构 * Department of Artificial Intelligence, Faculty of Information and Communication Technology, Wrocław University of Science and Technology（人工智能系，信息与通信技术学院，沃斯克大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究首次系统评估多种分块方法在RAG系统中的有效性，揭示分块策略中常被忽视的关键问题。

From Empathy to Personalized Empathy: Adapting Empathetic Strategies to Individual Users

从共情到个性化共情：根据个体用户调整共情策略

Wuqiang Zheng, Chengbing Wang, Yilin Yang, Junyi Cheng, Jianfei Xiao, Hu Sun, Yi Xie, Yangyang Li, Wenjie Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Technologies（华为技术） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型长期交互中忽略用户个性对共情策略影响的问题，提出个性化共情任务，构建PersonaEmp数据集和PereGRM奖励建模框架，实验证明其有效提升个性化共情能力。

"I Strongly Suspect This Website Is a Scam": Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents

“我强烈怀疑这个网站是骗局”：自主网络代理中无防御的PII泄露与检测基准测试

Soham Roy, Sarthakbrata Halder, Arya Bharaty, Vaibhav Bhaskar, Yash Sinha, Dhruv Kumar, Srikant Panda, Murari Mandal

机构 * KIIT Bhubaneshwar（KIIT布巴内什瓦尔） ； BITS Pilani（比特斯理工学院） ； Lam Research（拉姆研究） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文通过构建包含91个攻击者控制环境和10个良性孪生基线的基准Scammer4U，评估前沿自主网络代理在社交工程攻击下的PII泄露风险，发现关键PII泄露率高达54-93%，并揭示了代理检测到攻击但仍有35.9%概率提交PII的检测-行动差距。

Comments 24 pages

Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages

多模态大语言模型在复杂交互网页代码生成上的基准测试

Fan Wu, Lishuai Dong, Cuiyun Gao, Yujia Chen, Yiming Huang, Yang Xiao, Qing Liao

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有基准忽略复杂交互行为的问题，提出WebIGBench基准，包含103个真实复杂网页和871个交互动作，并设计新评估流程，测试多模态大语言模型在交互式网页代码生成上的性能。

CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection

CoCoVideo: 基于商业模型的高质量对比基准用于AI生成视频检测

Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； China Academy of Information and Communications Technology（中国信息通信技术研究院） ； AI Transcend Pte. Ltd.（AI Transcend有限公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有数据集依赖低质量开源模型且商业样本带水印的问题，提出包含13个商业生成器的CoCoVideo-26K对比数据集，并设计结合对比学习与置信门控多模态大语言模型的CoCoDetect检测框架，实现高保真AI生成视频的鲁棒检测。

Comments Accepected by CVPR 2026

When Jokes Cross the Line: Analyzing Regular Humor and Dark Humor in YouTube Shorts

当玩笑越界：分析YouTube Shorts中的常规幽默与黑色幽默

Sydney Johns, Sanjeev Parthasarathy, Shantnu Bhalla, Vaibhav Garg

机构 * Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 通过构建TwistedHumor数据集（1211个YouTube Shorts及33041条评论的手工标注），结合多视角分析（LLooM概念归纳、评论情感分析、大模型评估），揭示了短格式视频中常规幽默与黑色幽默在主题、观众反应和模型检测上的差异，强调了上下文感知审核的必要性。

Cookie-Bench: Continuous On-screen Key Interaction Evaluation for Web Generation

Cookie-Bench: 面向网页生成的连续屏幕按键交互评估

Haoyue Yang, Zhangxiao Shen, Fan Ding, Hangting Lou, Yifeng Kou, Haoqing Yu, Jingyao Li, Zhengfan Wu, Siqi Bao, Jing Liu, Hua Wu

机构 * Baidu Inc.（百度公司） ； Beijing, China（中国北京） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一种无参考、自主驱动且整体推理的网页生成评估框架Cookie-Bench，通过元认知监控分阶段收集证据并评分，与专家评分高度一致。

GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization

GEO-Bench: 生成式引擎优化中的排名操纵基准测试

Ojas Nimase, Zhe Chen, Gengpei Qi, Yue Zhao, Xiyang Hu

机构 * University of Southern California（南加州大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出GEO-Bench基准，统一评估生成式引擎优化中的排名操纵攻击，比较黑盒提示攻击、白盒梯度攻击和白帽策略的有效性与隐蔽性。

Attested Tool-Server Admission: A Security Extension to the Model Context Protocol

认证工具服务器准入：模型上下文协议的安全扩展

Alfredo Metere

机构 * Enclawed LLC（Enclawed公司） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对MCP协议缺乏信任机制的问题，提出mcp-attested扩展，通过离线签名的权限断言、默认拒绝的工具白名单和分级强制审计日志，实现安全服务器准入与工具边界控制。

PBT-Bench: Benchmarking AI Agents on Property-Based Testing

PBT-Bench：基于属性测试的AI智能体基准

Lucas Jing, Xinqi Wang, Liao Zhang, Simon S. Du

机构 * Tsinghua University（清华大学） ； University of Washington（华盛顿大学） ； Beneficial AI Foundation（有益人工智能基金会） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出PBT-Bench基准，包含100个基于属性测试的问题，用于评估AI智能体从文档中推导语义不变量并生成输入策略的能力。

Retrieval-Augmented Linguistic Calibration

检索增强的语言校准

Yi-Fan Yeh, Linwei Tao, Minjing Dong, Tao Huang, Jialin Yu, Philip Torr, Chang Xu

机构 * School of Computer Science, University of Sydney（悉尼大学计算机科学学院） ； City University of Hong Kong（香港城市大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Oxford, Department of Engineering Science（牛津大学工程科学系） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出检索增强的语言校准（RALC）框架，通过分布建模和检索增强改写，提升语言置信度表达的真实性和校准性。

When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

当黄金标准未必标准：评估用户生成内容翻译的挑战

Lydia Nishimwe, Benoît Sagot, Rachel Bawden

机构 * Inria Paris（巴黎研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对用户生成内容（UGC）中非标准语言现象，提出十二种非标准现象和五种翻译行为的分类法，并论证翻译评估需考虑指南的标准化程度，呼吁开发可控的、指南感知的评估框架。

Comments 10 pages (23 with references and appendices). Accepted at EAMT 2026

SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale

SWE-rebench V2: 大规模语言无关的SWE任务集合

Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Alexander Golubev

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出语言无关的自动化流水线SWE-rebench V2，用于大规模收集可执行的软件工程任务并构建RL训练环境，产出涵盖20种语言、3617个仓库的32079个任务数据集。

Comments ICML 2026

iML: Executable, Problem-Grounded, and Broadly Exploratory Code-Driven AutoML

iML: 可执行、问题驱动且广泛探索的代码驱动自动机器学习

Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

机构 * Faculty of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.LG

AI总结 提出iML多智能体框架，通过任务分析、数据剖析、结构化蓝图生成和模块化代码合成，实现可执行、问题驱动且广泛探索的代码驱动AutoML，在MLE-BENCH和iML-BENCH上显著优于基线。

Empathy Applicability Modeling for General Health Queries

通用健康查询的共情适用性建模

Shan Randhawa, Agha Ali Raza, Kentaro Toyama, Julie Hui, Mustafa Naseem

机构 * University of Michigan（密歇根大学） ； Lahore University of Management Sciences（拉合尔管理科学大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出共情适用性框架（EAF），基于临床、语境和语言线索对患者查询的情感反应和解释适用性进行分类，以支持异步医疗中的共情沟通。

Comments Accepted at Findings of ACL 2026

RRP-Voice: A Longitudinal Dataset and Benchmark for Recurrent Respiratory Papillomatosis Detection

RRP-Voice：用于复发性呼吸道乳头状瘤病检测的纵向数据集与基准

Wenze Ren, Ke-Han Lu, Kai-Wei Chang, Tiantian Feng, Ching Fang, Zhi-Chi Liao, Dao Thi Hai Yen, Syu-Siang Wang, Yu Tsao, Chi-Te Wang, Shih-Hau Fang

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 针对复发性呼吸道乳头状瘤病（RRP）数据稀缺问题，构建首个纵向语音数据集（26名患者，最长10年随访），并建立涵盖手工特征、端到端深度网络、自监督预训练模型和音频大语言模型的系统基准，验证了纵向信号反映喉镜疾病状态。

Comments Submitted to APSIPA ASC 2026 Special Tracks

Institutional Trust and the Domestic AI Advantage: Evidence from DeepSeek and ChatGPT Users in China

制度信任与国内AI优势：来自中国DeepSeek和ChatGPT用户的证据

Jiashen Huang, Yu Jia, Xu Pan

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本研究提出“制度棱镜”框架，基于认知-情感信任理论分析405名中国用户数据，发现制度信任正向影响对国内AI模型（DeepSeek）的情感信任并改善认知评价，而低制度信任下国内优势减弱。

Comments 48 pages

SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory

SuperMemory-VQA：面向长期记忆的自我中心视觉问答基准

Samiul Alam, Shakhrul Iman Siam, Michael J. Proulx, James Fort, Richard Newcombe, Hyo Jin Kim, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； Meta Project（Meta项目） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 提出SuperMemory-VQA数据集，包含52.9小时AI眼镜录制的日常活动及4853个多选问答对，用于评估AI助手在长期记忆任务上的表现，发现现有系统可靠性不足。

Comments 34 pages, 21 figures, 5 tables

Specification-Driven Development Benchmark: Security Knowledge Transition

规范驱动开发基准：安全知识迁移

Oleg Grynets, Andrii Salyk, Vasyl Lyashkevych, Oleh Kaskun, Danyil Zhuravchak

专题命中 评测与基准 ：LLM(abstract,abstract_cn)

AI总结 针对AI辅助规范驱动开发中安全行为隐式化的问题，提出多层规范安全模型和安全知识迁移方法，通过结构化安全知识提升生成系统的安全性。

Comments 15 pages, 7 figures, 8 tables, 32 references