语言大模型 / LLM

OpenCOOD-Air: Prompting Heterogeneous Ground-Air Collaborative Perception with Spatial Conversion and Offset Prediction

OpenCOOD-Air: 通过空间转换和偏移预测提示异构地面-空域协作感知

Xianke Wu, Songlin Bai, Chengxiang Li, Zhiyao Luo, Yulin Tian, Fenghua Zhu, Yisheng Lv, Yonglin Tian

专题命中 评测与基准 ：prompting(title)

AI总结 本文提出OpenCOOD-Air框架，通过引入无人机作为扩展平台，解决V2V协作感知中的地面遮挡和传感器视角限制问题，采用迁移学习和跨域空间转换器提升感知性能。

Datasets for Verb Alternations across Languages: BLM Templates and Data Augmentation Strategies

跨语言动词变体数据集：BLM模板与数据增强策略

Giuseppe Samo, Paola Merlo

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出四个语言的 curated 数据集，用于探索动词变体的跨句知识，通过 BLM 任务和数据增强策略评估模型性能。

Comments 9 pages, 16 figures, accepted at LREC 2026

MER-Bench: A Comprehensive Benchmark for Multimodal Meme Reappraisal

MER-Bench：多模态表情包再解释的综合基准

Yiqi Nie, Fei Wang, Junjie Chen, Kun Li, Yudi Cai, Dan Guo, Chenglong Li, Meng Wang

机构 * School of Artificial Intelligence, Anhui University（安徽大学人工智能学院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； College of Information Technology, United Arab Emirates University（阿拉伯联合酋长国大学信息学院） ； Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MER-Bench，一个用于多模态表情包再解释的综合基准，通过多模态大语言模型评估结构保持、语义一致性和情感转换，揭示现有系统在约束满足上的不足。

SemBench: A Benchmark for Semantic Query Processing Engines

SemBench：语义查询处理引擎的基准测试

Jiale Lao, Andreas Zimmerer, Olga Ovcharenko, Tianji Cong, Matthew Russo, Gerardo Vitagliano, Michael Cochez, Fatma Özcan, Gautam Gupta, Thibaud Hottelier, H. V. Jagadish, Kris Kissel, Sebastian Schelter, Andreas Kipf, Immanuel Trummer

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SemBench是一个针对语义查询处理引擎的基准测试，涵盖多场景、多模态和多操作符，评估不同系统在处理多模态数据时的性能。

Comments Accepted to VLDB 2026; Revised version

MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark

MMSU：一个大规模多任务语音语言理解与推理基准

Dingdong Wang, Junan Li, Jincenzi Wu, Dongchao Yang, Xueyuan Chen, Tianhua Zhang, Helen Meng

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MMSU基准通过整合语音的语义、语调和语音学特征，评估语音语言理解与推理能力，发现现有模型存在改进空间，为开发更高级的人机语音交互系统提供新标准。

Comments ICLR 2026. MMSU benchmark is available at https://huggingface.co/datasets/ddwang2000/MMSU. Project page https://github.com/dingdongwang/MMSU

DMDTEval: An Evaluation and Analysis of LLMs on Disambiguation in Multi-domain Translation

DMDTEval: LLMs在多领域翻译中歧义辨析的评估与分析

Zhibo Man, Yuanmeng Chen, Yujie Zhang, Jinan Xu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DMDTEval框架，通过构建多领域歧义词标注测试集、设计精准的歧义度量标准，评估不同提示策略对LLMs在多领域翻译中歧义辨析能力的影响，揭示提升LLMs歧义辨析性能的关键发现。

Comments Accepted by EMNLP2025-main

Journal ref DMDTEval: An Evaluation and Analysis of LLMs on Disambiguation in Multi-domain Translation (Man et al., EMNLP 2025)

Information Asymmetry across Language Varieties: A Case Study on Cantonese-Mandarin and Bavarian-German QA

语言变体间的信息不对称：粤语-普通话与巴伐利亚德语的问答研究

Renhao Pei, Siyao Peng, Verena Blaschke, Robert Litschko, Barbara Plank

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了本地语言变体在问答任务中的表现，发现LLM在本地维基百科信息缺失时表现不佳，通过上下文和翻译可提升性能，揭示本地维基百科作为区域和全球信息源的价值。

Comments 23 pages, accepted at LREC 2026 as an oral presentation

DesignBench: A Comprehensive Benchmark for MLLM-based Front-end Code Generation

DesignBench: 一个全面的基于MLLM的前端代码生成基准测试

Jingyu Xiao, Ming Wang, Man Ho Lam, Yuxuan Wan, Junliang Liu, Yintong Huo, Michael R. Lyu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DesignBench针对MLLM在前端工程中的应用，提出多框架、多任务的评估基准，涵盖生成、编辑和修复三个任务，通过900个网页样本分析模型性能，揭示框架特定限制和任务瓶颈。

PMIScore: An Unsupervised Approach to Quantify Dialogue Engagement

PMIScore: 一种无监督量化对话参与度的方法

Yongkang Guo, Zhihuan Huang, Yuqing Kong

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出PMIScore，一种无监督方法，通过点互信息量化对话参与度，利用大语言模型生成对话对并训练神经网络，验证了其在合成和真实数据集上的有效性。

Comments 23 pages, 4 figures. Accepted to The Web Conference 2026

Tracing the Evolution of Word Embedding Techniques in Natural Language Processing

追踪自然语言处理中词嵌入技术的演变

Minh Anh Nguyen, Kuheli Sai, Minh Nguyen

机构 * Texas Tech University（德克萨斯理工大学） ； University of Pittsburgh（匹兹堡大学） ； Florida Atlantic University（佛罗里达 Atlantic 大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过分析149篇1954-2025年的文献，总结了词嵌入技术从静态到上下文化的发展，揭示了GPT-3发布后研究重点和合作模式的显著变化。

ManiBench: A Benchmark for Testing Visual-Logic Drift and Syntactic Hallucinations in Manim Code Generation

ManiBench：一个用于测试Manim代码生成中视觉-逻辑漂移和语法幻觉的基准测试

Nabin Oli

机构 * Sunway College Kathmandu（加德满都阳光学院） ； Birmingham City University（伯明翰城市大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 ManiBench旨在评估LLM在生成Manim CE代码时的性能，针对语法幻觉和视觉-逻辑漂移两种关键失败模式，包含150-200个问题，涵盖微积分、线性代数、概率、拓扑和AI等领域。

KazakhOCR: A Synthetic Benchmark for Evaluating Multimodal Models in Low-Resource Kazakh Script OCR

KazakhOCR: 一种用于评估多模态模型在低资源库尔德语手写体OCR中的合成基准

Henry Gagnier, Sophie Gagnier, Ashwin Kirubakaran

机构 * Pittsford Sutherland High School（皮茨福德萨瑟兰高中） ； Edison Academy Magnet School（埃德ison学院磁性学校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文构建了包含7219张图像的合成OCR数据集，用于评估多模态大语言模型在低资源库尔德语手写体OCR和语言识别中的性能，发现传统OCR在字符错误率上优于MLLMs。

Comments Accepted to AbjadNLP @ EACL 2026

Evaluating Time Awareness and Cross-modal Active Perception of Large Models via 4D Escape Room Task

通过4D逃脱房间任务评估大模型的时间意识和跨模态主动感知

Yurui Dong, Ziyue Wang, Shuyun Lu, Dairu Liu, Xuechen Liu, Fuwen Luo, Peng Li, Yang Liu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出4D逃脱房间任务，用于评估大模型在时间变化和不可逆条件下跨模态感知和时间意识的能力，发现模型在多模态整合中存在模态偏差和能力差距。

TrinityGuard: A Unified Framework for Safeguarding Multi-Agent Systems

TrinityGuard：多智能体系统的统一防护框架

Kai Wang, Biaojie Zeng, Zeming Wei, Chang Jin, Hefeng Zhou, Xiangtian Li, Chao Yang, Jingjing Qu, Xingcheng Xu, Xia Hu

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TrinityGuard框架，用于评估和监控基于大语言模型的多智能体系统安全风险，通过三级风险分类识别20种风险类型，结合测试模块和运行时监控实现预开发评估与运行时监控。

GUI-CEval: A Hierarchical and Comprehensive Chinese Benchmark for Mobile GUI Agents

GUI-CEval: 一种用于移动GUI代理的分层和全面的中文基准

Yang Li, Yuchen Liu, Haoyu Lu, Zhiqiang Xia, Hongzhen Wang, Kaiyang Han, Changpeng Yang, Jinyang Wu, Jiaming Xu, Runyu Shi, Ying Huang

机构 * HyperAI Team, Xiaomi Corporation（HyperAI团队，小米公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出GUI-CEval，首个针对中文移动GUI代理的全面基准，涵盖201款主流应用，通过分层结构评估感知、规划、反思、执行和评估五方面能力，验证模型在真实交互中的表现。

Comments accepted by CVPR 2026

Which stylistic features fool ChatGPT research evaluations?

哪些风格特征会欺骗ChatGPT研究评估？

Kayvan Kousha, Mike Thelwall

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文研究了影响ChatGPT评分的语言因素，发现语言复杂性和长度与ChatGPT评分相关性更强，可能带来偏见。

A Skill-augmented Agentic Framework and Benchmark for Multi-Video Understanding

一种具备技能的代理框架和多视频理解基准

Yue Zhang, Liqiang Jing, Jia Li, Yapeng Tian, Xinya Du, Yunhui Guo, Vibhav Gogate

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出MVX-Bench多视频跨维基准和SAMA框架，通过整合视觉工具和技能实现结构化推理，实验显示其在多视频理解任务中优于现有基线模型。

Unlocking the Latent Canvas: Eliciting and Benchmarking Symbolic Visual Expression in LLMs

解锁潜在画布：在LLMs中引发和评估符号视觉表达

Yiren Zheng, Shibo Li, Jiaming Liu, Haofan Wang, Yiren Song

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文通过ASCII艺术格式揭示LLMs的潜在视觉能力，提出SVE-ASCII框架，构建ASCIIArt-7K数据集，并展示生成训练如何提升视觉理解，建立文本基视觉智能的基准。

FloodSQL-Bench: A Retrieval-Augmented Benchmark for Geospatially-Grounded Text-to-SQL

FloodSQL-Bench: 一个用于洪水管理领域的检索增强基准

Hanzhou Liu, Kai Yin, Zhitong Chen, Chenyue Liu, Ali Mostafavi

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出FloodSQL-Bench，一个结合异构数据集的地理空间基准，用于评估大语言模型在多表和地理空间推理中的性能。

Holographic Invariant Storage: Design-Time Safety Contracts via Vector Symbolic Architectures

全息不变存储：通过向量符号架构实现设计时的安全合同

Arsenios Scrivens

专题命中 评测与基准 ：LLM(abstract,comments)；分类 cs.CL、cs.LG

AI总结 本文提出全息不变存储协议，通过整合双极向量符号架构的特性，为LLM上下文漂移缓解提供设计时的安全合同，提供三种可预估的保障，提升系统工程师在设计阶段的恢复保真度和代码本容量预算能力。

Comments 25 pages, 7 figures, includes appendices with extended proofs and pilot LLM experiment

BERTology of Molecular Property Prediction

分子属性预测的BERT学

Mohammad Mostafanejad, Paul Saxe, T. Daniel Crawford

机构 * Department of Chemistry, Virginia Tech（弗吉尼亚理工大学化学系） ； Molecular Sciences Software Institute（分子科学软件研究所） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过系统实验分析影响化学语言模型在分子属性预测任务中的预训练和微调性能的因素，揭示CLMs在不同基准任务中的表现差异及潜在机制。

Translational Gaps in Graph Transformers for Longitudinal EHR Prediction: A Critical Appraisal of GT-BEHRT

图变换器在纵向电子健康记录预测中的翻译差距：对GT-BEHRT的批判性评估

Krish Tadigotla

机构 * Krish Tadigotla（克里希·塔迪戈特拉） 纠错

专题命中 评测与基准 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文批判性评估了GT-BEHRT图变换器架构在纵向EHR预测中的性能，指出其在校准、公平性、部署等方面存在不足，强调需更严格的评估以支持临床决策。

Comments A critical review of graph transformer models for longitudinal electronic health records, discussing evaluation practices, calibration, fairness, and clinical relevance. 5 pages

Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis

谈话、评估、诊断：基于用户意识的代理评估与自动错误分析

Penny Chong, Harshavardhan Abichandani, Jiyuan Shen, Atin Ghosh, Min Pyae Moe, Yifan Mai, Daniel Dahlmeier

机构 * SAP ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出TED框架，通过用户角色模板、自动评分和错误分析，提升代理评估的全面性与效率，实验显示在模型和用户水平上取得8-10%的性能提升。

Comments Accepted as a conference paper at ICLR 2026. Code and dataset are available in the repository https://github.com/SAP-samples/agent-quality-inspect

SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?

SWE-Skills-Bench：代理技能在真实软件工程中的实际帮助有多大？

Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu

机构 * MBZUAI（莫扎德人工智能大学） ； Nanjing University（南京大学） ； South China University of Technology（华南理工大学） ； The University of New South Wales（新南威尔士大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出SWE-Skills-Bench，首个基于需求的基准，评估代理技能在真实软件工程中的边际效用，发现多数技能无明显提升，仅少数专业技能有帮助。

ReactMotion: Generating Reactive Listener Motions from Speaker Utterance

ReactMotion: 从说话者 utterance 生成反应性听众动作

Cheng Luo, Bizhu Wu, Bing Li, Jianfeng Ren, Ruibin Bai, Rong Qu, Linlin Shen, Bernard Ghanem

机构 * King Abdullah University of Science and Technology（国王阿卜杜勒·阿齐兹大学科学与技术学院） ； Computer Vision Institute, School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院计算机视觉研究所） ； Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University（广东省智能信息处理重点实验室，深圳大学） ； School of Computer Science, University of Nottingham Ningbo China（诺丁汉大学宁波中国分校计算机科学学院） ； School of Computer Science, University of Nottingham, United Kingdom（诺丁汉大学，英国计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出反应性听众动作生成任务，通过ReactMotionNet数据集和偏好导向评估协议，开发统一生成框架，生成更自然、多样且恰当的听众动作。

Comments 42 pages, 11 tables, 8 figures

Exposing Cross-Modal Consistency for Fake News Detection in Short-Form Videos

揭示短视频中跨模态一致性以检测虚假新闻

Chong Tian, Yu Wang, Chenxu Yang, Junyi Guan, Zheng Lin, Yuhan Liu, Xiuying Chen, Qirong Ho

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·泽亚德人工智能大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出MAGIC3模型，通过多粒度跨模态一致性建模提升虚假新闻检测性能，实现高准确率与低成本的平衡。

Comments 16 pages, 7 figures, 11 tables

PCodeTrans: Translate Decompiled Pseudocode to Compilable and Executable Equivalent

PCodeTrans：将反编译的伪代码翻译成可编译和可执行的等价代码

Yuxin Cui, Zeyu Gao, Shuxian He, Siliang Qin, Chao Zhang

机构 * Tsinghua University（清华大学） ； Wuhan University（武汉大学） ； Institute of Information Engineering, CAS（中国科学院信息工程研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.AI

AI总结 PCodeTrans通过反馈驱动框架解决反编译伪代码的可编译性和执行准确性问题，通过动态验证和LLM迭代修复实现高精度代码恢复。

Agentic Retoucher for Text-To-Image Generation

面向文本到图像生成的代理修复器

Shaocheng Shen, Jianfeng Liang, Chunlei Cai, Cong Geng, Huiyu Duan, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai

专题命中 评测与基准 ：language model(abstract)；分类 cs.AI

AI总结 本文提出Agentic Retoucher框架，通过感知-推理-行动循环改进文本到图像生成的质量，引入GenBlemish-27K数据集进行评估，提升图像真实感与局部修正可靠性。

Comments Accepted by CVPR2026

Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception

Omni-Captioner：多模态信息细粒度感知的数据管道、模型与基准

Ziyang Ma, Ruiyang Xu, Zhenghao Xing, Yunfei Chu, Yuxuan Wang, Jinzheng He, Jin Xu, Pheng-Ann Heng, Kai Yu, Junyang Lin, Eng Siong Chng, Xie Chen

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

AI总结 本文提出Omni-Captioner，通过数据管道、模型和基准系统，系统研究多模态细粒度感知，提出Omni-Detective生成高质量数据，实现音频和视频细粒度描述的最优性能。

Comments Accepted by ICLR2026. Open Source at https://github.com/ddlBoJack/Omni-Captioner

AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control

AerialVLA：一种用于无人机导航的视觉-语言-动作模型 via 最小化端到端控制

Peng Xu, Zhengnan Deng, Jiayan Deng, Zonghua Gu, Shaohua Wan

专题命中 评测与基准 ：prompting(abstract)；分类 cs.AI

AI总结 本文提出AerialVLA，一种基于视觉-语言-动作的端到端控制模型，通过减少视觉冗余并整合连续3D运动指令与内在着陆信号，实现无人机自主导航。实验表明其在可见环境和未知场景中均表现优异。

Comments 18 pages, 4 figures. Code and demo videos will be available at: https://github.com/XuPeng23/AerialVLA