语言大模型 / LLM

Redirected, Not Removed: Task-Dependent Stereotyping Reveals the Limits of LLM Alignments

转向而非移除：任务依赖性刻板印象揭示了LLM对齐的局限

Divyanshu Kumar, Ishita Gupta, Nitin Aravind Birur, Tanay Baswa, Sahil Agarwal, Prashanth Harshangi

机构 * Enkrypt AI 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究通过任务依赖性刻板印象分析，揭示LLM对齐的局限性，指出单一基准测试无法全面反映模型偏见，且对齐实践可能掩盖而非减轻代表性伤害。

Improving LLM First-Token Predictions in Multiple-Choice Question Answering via Output Prefilling

通过输出预填充改进多选问答中的LLM首词预测

Silvia Cappelletti, Tobia Poppi, Samuele Poppi, Zheng-Xin Yong, Diego Garcia-Olano, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳大学与雷焦艾米利亚大学） ； University of Pisa（比萨大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Brown University（布朗大学） ； Meta 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出预填充攻击，通过在模型输出前添加结构化自然语言前缀，提升多选问答中LLM首词预测的准确性与可靠性。

Comments 23 pages, 6 figures, 6 tables

Learning the Signature of Memorization in Autoregressive Language Models

在自回归语言模型中学习记忆的签名

David Ilić, Kostadin Cvejoski, David Stanojević, Evgeny Grigorenko

机构 * JetBrains Research（JetBrains研究院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种可转移的学习攻击方法，通过训练变压器模型来检测记忆签名，实现了在不同架构和数据集上的高准确率。

Comments Preprint. 10 pages, 4 figures, 12 tables

Toward an Artificial General Teacher: Procedural Geometry Data Generation and Visual Grounding with Vision-Language Models

迈向人工通用教师：基于视觉-语言模型的程序几何数据生成与视觉语义

Hai Nguyen-Truong, Alper Balbay, Tunga Bayrak

机构 * Freya 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文研究几何教育中的视觉解释问题，提出通过程序生成几何图示数据，结合视觉-语言模型进行领域特定微调，提升几何元素分割性能，并引入几何感知的评估指标。

Comments 12 pages, 7 figures

Generative Frontiers: Why Evaluation Matters for Diffusion Language Models

生成前沿：为何评估对扩散语言模型至关重要

Patrick Pynadath, Jiaxin Shi, Ruqi Zhang

机构 * Purdue University（普渡大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了扩散语言模型评估方法的局限性，提出生成前沿作为评估生成质量的原理性方法，分析了生成困惑度和熵在KL散度中的作用。

An Explainable Vision-Language Model Framework with Adaptive PID-Tversky Loss for Lumbar Spinal Stenosis Diagnosis

具有自适应PID-Tversky损失的可解释视觉-语言模型框架用于腰椎管狭窄症诊断

Md. Sajeebul Islam Sk., Md. Mehedi Hasan Shawon, Md. Golam Rabiul Alam

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Department of Electrical and Computer Engineering（电气与计算机工程系） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种可解释视觉-语言模型框架，通过空间补丁交叉注意模块和自适应PID-Tversky损失，提升腰椎管狭窄症诊断的准确性与解释性，实现高分割Dice分数和CIDEr评分。

ReDef: Do Code Language Models Truly Understand Code Changes for Just-in-Time Software Defect Prediction?

ReDef：代码语言模型真的能理解代码变更用于即时软件缺陷预测吗？

Doha Nam, Taehyoun Kim, Duksan Ryu, Jongmoon Baik

机构 * Jeonbuk National University（全北国立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 ReDef通过高置信度的函数级修改数据集评估代码语言模型对代码变更的理解，发现紧凑的diff编码在所有模型中表现最佳，但反事实测试显示性能稳定，表明模型依赖于表面线索而非真实语义理解。

Comments Accepted to FSE 2026; An anonymous link containing the dataset, construction scripts, and experimental code is publicly available for reproducibility: https://figshare.com/s/4f202bc0921e26b41dc2

High Volatility and Action Bias Distinguish LLMs from Humans in Group Coordination

高波动性和行动偏差区分LLMs与人类在群体协调中的表现

Sahaj Singh Maini, Robert L. Goldstone, Zoran Tiganj

机构 * Department of Computer Science, Indiana University Bloomington（印第安纳大学布卢明顿分校计算机科学系） ； Cognitive Science Program, Indiana University Bloomington（印第安纳大学布卢明顿分校认知科学项目） ； Department of Psychological and Brain Sciences, Indiana University Bloomington（印第安纳大学布卢明顿分校心理与脑科学系） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过群体二进制搜索游戏比较LLMs与人类在群体协调中的表现，发现LLMs在适应性和稳定性上不如人类，且反馈信息对人类影响大而对LLMs影响小。

Textual Equilibrium Propagation for Deep Compound AI Systems

文本平衡传播用于深度复合人工智能系统

Minghui Chen, Wenlong Deng, James Zou, Han Yu, Xiaoxiao Li

机构 * Nanyang Technological University（南洋理工大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出文本平衡传播（TEP），通过局部学习原理解决长周期工作流中文本梯度爆炸和消失问题，提升深度复合AI系统的准确性和效率。

Comments Accepted to ICLR 2026

UniSpector: Towards Universal Open-set Defect Recognition via Spectral-Contrastive Visual Prompting

UniSpector：通过频谱-对比视觉提示实现通用开放集缺陷识别

Geonuk Kim, Minhoi Kim, Kangil Lee, Minsu Kim, Hyeonseong Jeon, Jeonghoon Han, Hyoungjoon Lim, Junho Yim

机构 * LG Energy Solution（LG新能源） 纠错

专题命中 评测与基准 ：prompting(title,abstract)

AI总结 UniSpector通过设计语义结构化的提示拓扑，解决工业检测中开放集缺陷识别的问题，其在AP50b和AP50m上优于基线19.7%和15.8%。

Comments Accepted to CVPR 2026

Task-Guided Prompting for Unified Remote Sensing Image Restoration

基于任务引导的统一遥感图像修复

Wenli Huang, Yang Wu, Xiaomeng Xin, Zhihong Liu, Jinjun Wang, Ye Deng

机构 * School of Electronic and Information Engineering, Ningbo University of Technology（宁波工程学院电子与信息工程学院） ； University of Exeter（埃克塞特大学） ； Engineering Research Center of Intelligent Finance, Ministry of Education（教育部智能金融工程研究中心） ； School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics（西南财经大学计算机与人工智能学院） 纠错

专题命中 评测与基准 ：prompting(title,abstract)

AI总结 本文提出TGPNet框架，通过任务引导提示策略统一处理多种遥感图像退化问题，实现单框架多任务修复，实验表明在多任务和复合退化场景中优于专用模型。

Comments 17 pages, 11 figures

Journal ref IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, VOL. 64, 2026

Can Vision-Language Models Count? A Synthetic Benchmark and Analysis of Attention-Based Interventions

视觉-语言模型能计数吗？一个合成基准和基于注意力的干预分析

Saurav Sengupta, Nazanin Moradinasab, Jiebei Liu, Donald E. Brown

机构 * School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)

AI总结 本文通过合成基准和注意力干预分析，探讨了视觉-语言模型在计数任务中的表现，揭示了视觉和语言复杂性对计数准确率的影响，并展示了针对性的注意力重加权对计数行为的改进。

Comments Accepted at COGVL Workshop at CVPR 2026

SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy

SWAY：一种反事实计算语言学方法用于衡量和缓解谄媚倾向

Joy Bhalla, Kristina Gligorić

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文提出SWAY，一种无监督的计算语言学指标，用于衡量和缓解大语言模型的谄媚倾向。通过反事实提示机制，识别模型在正负语言压力下的同意变化，发现谄媚倾向随认知承诺增加而增强，并提出基于反事实的CoT缓解策略，有效降低谄媚倾向而不影响对真实证据的响应。

Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

无法测量之物的测量：LLMs作为劳动经济学中潜在认知变量的测量工具

Cristian Espinal Maya

机构 * Universidad EAFIT（EAFIT大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出利用LLMs测量劳动经济学中无法通过现有调查工具精确描述的职业任务认知内容，通过四个条件验证LLMs生成分数的有效性，并应用于Augmented Human Capital Index，展示其高收敛效度和判别效度。

Comments Working paper. 13 pages, 7 figures, 6 references. Part of the Cognitive Factor Economics research program. Code: https://github.com/Cespial/cognitive-factor-economics

Vibe Coding XR: Accelerating AI + XR Prototyping with XR Blocks and Gemini

Vibe Coding XR: 通过XR Blocks和Gemini加速AI+XR原型设计

Ruofei Du, Benjamin Hersh, David Li, Nels Numan, Xun Qian, Yanhe Chen, Zhongyi Zhou, Xingyue Chen, Jiahao Ren, Robert Timothy Bettridge, Xiang 'Anthony' Chen, Faraz Faruqi, Steve Toh, David Kim

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出XR Blocks框架和Vibe Coding XR工作流，利用LLM将高阶提示转化为功能混合现实应用，通过模拟现实环境减少设备测试摩擦，提供60个原型数据集和自动化评估流程。

IndustryCode: A Benchmark for Industry Code Generation

IndustryCode: 一个用于行业代码生成的基准

Puyu Zeng, Zhaoxi Wang, Zhixu Duan, Liang Feng, Shaobo Wang, Cunxiang Wang, Jinghang Wang, Bing Zhao, Hu Wei, Linfeng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IndustryCode基准，涵盖125个工业挑战和579个子问题，支持多种编程语言，评估大模型在工业场景中的代码生成能力。

Comments 37 pages, 28 figures, 4 tables. Includes appendix

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

StructEval: 对LLMs生成结构化输出能力的基准测试

Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； HKUST（香港科技大学） ； Shanghai University（上海大学） ； Independent Contributor（独立贡献者） ； Vector Institute（向量研究所） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 StructEval通过生成和转换任务评估LLMs生成JSON、YAML等结构化格式的能力，揭示了先进模型在结构正确性上的显著差距。

Comments 24 pages, 8 figures, 14 tables

When Negation Is a Geometry Problem in Vision-Language Models

当否定是在视觉-语言模型中一个几何问题

Fawaz Sammani, Tzoulio Chamiti, Paul Gavrikov, Nikos Deligiannis

机构 * ETRO Department, Vrije Universiteit Brussel（布鲁塞尔自由大学ETRO系） ； imec ； Independent Researcher（独立研究员） 纠错

专题命中 评测与基准 ：language model(title)

AI总结 本文探讨了视觉-语言模型中否定理解的几何问题，提出基于多模态大语言模型的评估框架，并通过表示工程操控CLIP模型实现否定意识。

Comments Accepted to CVPR (Multimodal Algorithmic Reasoning Workshop) 2026

A Systematic Security Evaluation of OpenClaw and Its Variants

对OpenClaw及其变种的系统性安全评估

Yuhang Wang, Haichang Gao, Zhenxing Niu, Zhaoxiang Liu, Wenjing Zhang, Xiang Wang, Shiguo Lian

机构 * Xidian University（西安电子科技大学） ； Data Science & Artificial Intelligence Research Institute, China Unicom（中国联通数据科学与人工智能研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文系统评估了六个OpenClaw系列代理框架的安全性，发现代理系统存在显著安全漏洞，且其风险高于孤立使用的基础模型。

Comments 39 pages, 14 figures

Agentic-MME: What Agentic Capability Really Brings to Multimodal Intelligence?

Agentic-MME：代理能力为多模态智能带来了什么？

Qianshan Wei, Yishan Yang, Siyi Wang, Jinglin Chen, Binyu Wang, Jiaming Wang, Shuang Chen, Zechen Li, Yang Shi, Yuqi Tang, Weining Wang, Yi Yu, Chaoyou Fu, Qi Li, Yi-Fan Zhang

机构 * CASIA（中国科学院自动化研究所） ； UCAS（中国科学院大学） ； SEU（东南大学） ； NJU（南京大学） ； PKU（北京大学） ； BUAA（北京航空航天大学） ； NTU（南洋理工大学） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Agentic-MME通过418个真实任务评估多模态代理能力，采用过程验证方法，量化效率并验证工具调用准确性，实验显示模型在复杂任务中表现显著下降。

GBQA: A Game Benchmark for Evaluating LLMs as Quality Assurance Engineers

GBQA：用于评估LLM作为质量保证工程师的博弈基准

Shufan Jiang, Chios Chen, Zhiyang Chen

机构 * The University of Hong Kong（香港大学） ； Independent Researcher（独立研究者） ； Westlake University（西湖大学） ； Datawhale Org（Datawhale组织） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出GBQA基准，通过30款游戏和124个经人类验证的bug测试LLM自主发现软件缺陷的能力，实验表明最佳模型仅能识别48.39%的bug。

Comments Accepted as a workshop paper at the Fourteenth International Conference on Learning Representations (ICLR 2026)

From Theory to Practice: Code Generation Using LLMs for CAPEC and CWE Frameworks

从理论到实践：利用LLMs为CAPEC和CWE框架生成代码

Murtuza Shahzad, Joseph Wilson, Ibrahim Al Azher, Hamed Alhoori, Mona Rahimi

机构 * Northern Illinois University（北伊利诺伊大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一个基于LLMs生成CAPEC和CWE漏洞代码的数据集，通过GPT-4o、Llama和Claude模型生成高准确性的代码示例，提升安全漏洞识别与修复的效率。

Competency Questions as Executable Plans: a Controlled RAG Architecture for Cultural Heritage Storytelling

能力问题作为可执行计划：一种受控的RAG架构用于文化遗产叙事

Naga Sowjanya Barla, Jacopo de Berardinis

机构 * School of Computer Science and Informatics, University of Liverpool（利物浦大学计算机科学与信息学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种基于知识图谱的神经符号架构，通过将能力问题转化为可执行叙事计划，提升文化遗产叙事的准确性和可审计性，通过Live Aid KG进行验证，比较了三种RAG策略的优劣。

Comments Accepted at the 23rd European Semantic Web Conference (ESWC 2026)

Ambig-IaC: Multi-level Disambiguation for Interactive Cloud Infrastructure-as-Code Synthesis

Ambig-IaC：交互式云基础设施即代码合成的多级消歧

Zhenning Yang, Kaden Gruizenga, Tongyuan Miao, Patrick Tser Jern Kon, Hui Guan, Ang Chen

机构 * University of Michigan（密歇根大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Ambig-IaC框架，通过多级消歧方法提升IaC配置生成的准确性，针对IaC配置的不可逆性，设计了基于结构分歧的评估框架，在结构和属性评估上分别提升18.4%和25.4%。

PolyReal: A Benchmark for Real-World Polymer Science Workflows

PolyReal：一个用于现实世界聚合物科学工作流程的基准

Wanhao Liu, Weida Wang, Jiaqing Xie, Suorong Yang, Jue Wang, Benteng Chen, Guangtao Mei, Zonglin Yang, Shufei Zhang, Yuchun Mo, Lang Cheng, Jin Zeng, Houqiang Li, Wanli Ouyang, Yuqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Northwestern Polytechnical University（西北工业大学） ； Tongji University（同济大学） ； The University of Hong Kong（香港大学） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 PolyReal是一个新的多模态基准，用于评估大规模语言模型在聚合物实验全流程中的能力，揭示了模型在实践任务上的不足，填补了评估空白。

EvaNet: Towards More Efficient and Consistent Infrared and Visible Image Fusion Assessment

EvaNet：迈向更高效且一致的红外与可见图像融合评估

Chunyang Cheng, Tianyang Xu, Xiao-Jun Wu, Tao Zhou, Hui Li, Zhangyong Tang, Josef Kittler

机构 * Jiangnan University（江南大学） ； University of Surrey（萨里大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出EvaNet框架，通过轻量网络高效近似常用指标，结合对比学习和大语言模型感知评估，实现更一致的图像融合评估。

Comments 20 figures,accepted by TPAMI

What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

对手在做什么？自动化战术、技术和程序提取：系统综述

Mahzabin Tamanna, Shaswata Mitra, Md Erfan, Ahmed Ryan, Sudip Mittal, Laurie Williams, Md Rayhanur Rahman

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)

AI总结 本文系统分析了80篇研究，探讨了从非结构化文本中提取攻击TTPs的方法、数据源、模型和评估，揭示了技术分类为主流，而战术分类和搜索研究不足，且存在单标签分类、评估有限等问题。

An Independent Safety Evaluation of Kimi K2.5

Kimi K2.5 的独立安全性评估

Zheng-Xin Yong, Parv Mahajan, Andy Wang, Ida Caspary, Yernat Yestekov, Zora Che, Mosh Levy, Elle Najt, Dennis Murphy, Prashant Kulkarni, Lev McKinney, Kei Nishimura-Gasparian, Ram Potham, Aengus Lynch, Michael L. Chen

机构 * Constellation ； Anthropic Fellows Program（Anthropic研究员项目） ； Brown University（布朗大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Imperial College London（伦敦帝国学院） ； University of Maryland, College Park（马里兰大学帕克分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Bar Ilan University（巴伊兰大学） ； University of Toronto（多伦多大学） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 Kimi K2.5作为开源大模型，在安全评估中显示出潜在风险，包括CBRNE滥用、网络安全漏洞及政治偏见，但其在拒绝恶意请求方面表现较弱，凸显开源模型的安全挑战。

Pragmatics Meets Culture: Culturally-adapted Artwork Description Generation and Evaluation

语用学与文化：文化适应的艺术描述生成与评估

Lingjun Zhao, Dayeon Ki, Marine Carpuat, Hal Daumé

机构 * University of Maryland（马里兰大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了文化适应的艺术描述生成，提出基于文化背景问答的评估框架，通过语用说话人模型提升生成效果，人类研究证实高语用能力模型更助于理解。

ELEPHANT: Measuring and understanding social sycophancy in LLMs

ELEPHANT：测量和理解LLMs中的社交阿谀

Myra Cheng, Sunny Yu, Cinoo Lee, Pranav Khadpe, Lujain Ibrahim, Dan Jurafsky

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过ELEPHANT基准测量LLMs中的社交阿谀行为，发现模型在保持用户形象方面比人类更极端，且在道德冲突中倾向于支持用户立场。