语言大模型 / LLM

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

Grokipedia与维基百科：基于大语言模型的意识形态政治中立性审计

Filippos Vlahos, Guillaume Bied, Tijl De Bie

机构 * Ghent University（根特大学） 纠错

专题命中 其他LLM ：LLM(title,abstract)；分类 cs.CL

AI总结 研究对比Grokipedia与维基百科的政治中立性，通过四位大语言模型评判员，分析1394对相关文章在九个维度的中立性，发现Grokipedia中立性逊于维基百科，两者对不同意识形态政治家有不同偏向。

CARPRT: Class-Aware Zero-Shot Prompt Reweighting for Black-Box Vision-Language Models

CARPRT：用于黑盒视觉语言模型的类感知零样本提示重加权

Ruijiang Dong, Zesheng Ye, Jianzhong Qi, Lei Feng, Feng Liu, Gang Niu, Masashi Sugiyama

机构 * University of Melbourne（墨尔本大学） ； Southeast University（东南大学） ； RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心） ； The University of Tokyo（东京大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究针对预训练视觉语言模型零样本图像分类中提示与类独立性假设不成立的问题，提出类感知零样本提示重加权方法CARPRT，通过无训练方式量化提示与类的相关性并调整权重，实验表明该方法优于现有方法。

Comments Accepted at ICLR 2026

Auditing Belief-Conditioned LLM Agents in Hidden-Information Social Deduction Games

在隐藏信息社交推理游戏中审计基于信念的大语言模型智能体

Yuan Gao, Jiangyi Yang, Yao Zhao, Yichi Zhang

机构 * University of Melbourne（墨尔本大学） 纠错

专题命中 其他LLM ：LLM(title,abstract)；分类 cs.AI

AI总结 研究在9人狼人杀环境中评估大语言模型智能体的难题，构建可审计框架，通过1080场游戏实验发现主动信念条件下好人方结果更好，虽未明确信念内容作用机制，但框架有使效应可测等贡献，将外部信念定位为可审计认知基线。

Comments 29 pages, 8 figures, 3 tables. Preprint

LeRoPE: Learnable RoPE Frequencies Improve Language Modeling

LeRoPE：可学习的RoPE频率提升语言建模

Petros Karypis, Sean O'Brien, Shreyas Kadekodi, Rui Zhu, Julian McAuley

机构 * UC San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究改进语言模型中位置编码的方法，提出可学习RoPE频率的LeRoPE方法，通过训练不同规模语言模型验证，该方法在各规模下均优于RoPE和部分RoPE，提升了语言建模性能。

Comments 27 pages, 10 figures, 12 tables

Robustifying Vision-Language Models via Test-Time Prompt Adaptation

通过测试时提示自适应增强视觉语言模型的鲁棒性

Xingyu Zhu, Huanshen Wu, Shuo Wang, Beier Zhu, Jiannan Ge, Jiaheng Zhang, Long Chen

机构 * University of Science（科学大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science（香港科学大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究针对对抗扰动下视觉语言模型性能下降问题，提出RITA框架，通过最优传输实现分布级对齐，引入动态缓存积累线索，提升了模型对抗鲁棒性且不损干净准确率。

Comments ICML 2026 regular

Distributed Sparse Interventions in Language Models

语言模型中的分布式稀疏干预

Maximilian S. Ernst, Lorenz Linhardt, Aaron Peikert, Oliver Eberle

机构 * Max Planck School of Cognition（马克斯·普朗克认知学院） ； Center for Lifespan Psychology, Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所寿命心理学中心） ； Machine Learning Group, Technische Universität Berlin（柏林工业大学机器学习小组） ； Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究语言模型组件在任务行为中的因果影响，提出分布式稀疏干预（DSI）方法，考虑跨层神经元非线性和相互作用，识别稀疏神经元集。实验表明DSI可通过少量神经元激活任务行为，实现细粒度控制，加深对任务构成的理解。

Comments 29 pages, 12 figures

Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety

多智能体大语言模型安全中的操作重构与批准框架委托

Lifei Liu, Haoran Yu, Xiaochong Jiang, Su Wang, Pin Qian, Yihang Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 其他LLM ：LLM(title,abstract)；分类 cs.AI

AI总结 研究多智能体大语言模型安全评估，引入五条件控制对比设计分离有害意图、规划器与执行器行为等因素，发现汇总管道安全非稳定架构属性，操作重构是关键风险信号，还揭示各因素对安全的影响及模型排名与实际行为的差异。

MetaSkill-Evolve: Recursive Self-Improvement of LLM Agents via Two-Timescale Meta-Skill Evolution

MetaSkill-Evolve：基于双时间尺度元技能演化的大语言模型智能体递归自改进方法

Zefeng Wang, Minxi Yan, Jinhe Bi, Sikuan Yan, Volker Tresp, Yunpu Ma

机构 * LMU Munich（慕尼黑大学） ； The Chinese University of Hong Kong（香港中文大学） ； MCML ； MemAgents Lab（MemAgents实验室） 纠错

专题命中 其他LLM ：LLM(title,abstract)；分类 cs.AI

AI总结 针对现有自改进智能体演化非递归的局限，提出双时间尺度框架，任务技能与元技能分层递归演化，在三类基准上显著提升测试精度。

Geometry of Ordinal Representations in Language Models

语言模型中序数表示的几何结构

Saksham Bassi, Sharvi Tomar

机构 * Gemma Team（杰玛团队） ； Qwen Team（文生团队） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究在多个语言模型中测试序数任务，发现当序数变量可从令牌身份局部计算时会出现具有位置细胞特征平铺的一维流形，几何计算与架构有关，激活修补证实流形子空间集中任务相关信息。

Journal ref Mechanistic Interpretability Workshop at the 43rd International Conference on Machine Learning, Seoul, South Korea, 2026

ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning for Base-to-Novel Generalization in Audio-Language Models

ZEBRA：面向音频语言模型中基类到新类泛化的零样本熵正则化提示学习

Asif Hanif, Mohammad Yaqub

机构 * Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 提出ZEBRA框架，通过融合零样本logits与提示学习logits并采用自熵正则化，解决音频语言模型中提示学习导致的新类性能下降问题，实现基类到新类的泛化提升。

Comments Accepted in InterSpeech 2026

Conformal Predictions for Human Action Recognition with Vision-Language Models

基于视觉-语言模型的人类动作识别中的置信域预测

Bary Tim, Fuchs Clément, Macq Benoît

机构 * ICTEAM, UCLouvain（鲁汶大学（法语区）ICTEAM研究所） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 本文探讨了如何利用置信域预测技术提升基于视觉-语言模型的人类动作识别系统可靠性，通过调整softmax温度参数减少候选类别数量，缓解长尾分布影响。

Comments 6 pages, 7 figures, Accepted to ICIP 2025 Workshops

Journal ref 2025 IEEE International Conference on Image Processing Workshops (ICIPW)

Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization

通过双阶段优化统一增强语言模型的泛化与鲁棒性

Yudao Sun, Juan Yin, Juan Zhao, Fan Zhang, Yongheng Liu, Hongji Chen

专题命中 其他LLM ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出双阶段优化框架UEGR，通过增强对抗样本输出分布和选择性参数更新提升语言模型的泛化与鲁棒性，实验表明在13个公开数据集上优于现有方法。

Comments The manuscript contains issues in the theoretical derivations that require revision prior to resubmission

Steering Vision-Language Models with Joint Sparse Autoencoders

用联合稀疏自编码器引导视觉-语言模型

Huizhen Shu, Xuying Li, Hongxu Lin, Wenjie Sun, Hui Li

机构 * yunshanai（云山AI） ； HKUST(Guangzhou)（香港科技大学（广州）） ； Zidongtaichu（紫东太初） ； University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 提出联合稀疏自编码器（JSAE），通过显式对齐约束联合分解视觉和语言激活，得到可解释的跨模态特征，并在LLaVA等模型上验证了层依赖的干预效果。

Comments 19pages,10 figures

Semantic Robustness Certification for Vision-Language Models

视觉语言模型的语义鲁棒性认证

Peiyu Yang, Paul Montague, Feng Liu, Andrew C. Cullen, Amardeep Kaur, Christopher Leckie, Sarah M. Erfani

机构 * School of Computing \& Information Systems, University of Melbourne, Australia 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 提出首个无需额外数据即可认证视觉语言模型在语义层面（如形状、大小、风格）鲁棒性的框架，通过文本提示作为语义代理并量化决策边界，确保预测类别在语义变换下不变。

Comments Accepted to ICML

Semantic DLM+: Improving Diffusion Language Models through Bias-variance Trade-off in Transition Kernel Design

语义DLM+：通过转移核设计中的偏差-方差权衡改进扩散语言模型

Keyue Jiang, Yuxiang Wang, Yanan Zhao, Xiang Yu, Qifang Zhao, Bohan Tang, Baojian Zhou, Yanghua Xiao, Lin Qu, Xiaoxiao Xu

机构 * Alibaba Group（阿里巴巴集团） ； Fudan University（复旦大学） ； University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； University of Oxford（牛津大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 本文通过分析泛化误差的三个关键因素，提出SemDLM+模型，通过全局转移和语义频率惩罚解决语义盆地问题，在LM1B和OpenWebText上提升了训练动态和生成质量。

TS-ICL: A Flexible Time-Indexed Foundation Model for Time Series via In-Context Learning

TS-ICL: 一种基于上下文学习的灵活时间索引时间序列基础模型

Etienne Le Naour, Tahar Nabil, Adrien Petralia

机构 * EDF R&D（EDF研究与发展） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.LG

AI总结 提出TS-ICL，一种基于上下文学习的概率编码器-回归器Transformer，统一了时间序列预测与插值，并在插值任务上达到新最优，同时在部分观测回溯窗口预测中表现突出。

GradPower: Powering Gradients for Faster Language Model Pre-Training

GradPower: 通过梯度加速更快的语言模型预训练

Jinbo Wang, Mingze Wang, Jiaqi Zhang, Wei Wang, Peng Pei, Xunliang Cai, Weinan E, Lei Wu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 本文提出GradPower，一种轻量级的梯度变换技术，用于加速语言模型预训练。通过元素级符号幂变换，将梯度输入基础优化器，无需修改优化器内部逻辑或超参数，从而在多种架构、参数规模、数据集和学习率调度方案中均取得更低的终端损失。

Comments 24 pages, accepted by ICML 2026

Exact Federated Continual Unlearning for Ridge Heads on Frozen Foundation Models

冻结基础模型上岭回归头的精确联邦持续遗忘

Yijun Quan, Wentai Wu, Giovanni Montana

机构 * WMG, University of Warwick, Coventry CV4 7AL, UK（沃里克大学WMG学院，沃里克大学，英格兰考文特里CV4 7AL，英国） ； Department of Computer Science, Jinan University, Guangzhou 510632, China（广州大学计算机科学系，广州510632，中国） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对冻结基础模型+岭回归头的联邦学习场景，提出基于充分统计量的通信协议，实现精确且高效的连续遗忘，支持任意添加和删除请求，保证与集中式重训练等价的确定性。

Comments Accepted to ECML-PKDD 2026

SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents

SENTINEL: 用于训练工具使用语言模型智能体的失败驱动强化学习

Ziyi Wang, Yuxuan Lu, Yimeng Zhang, Qun Liu, Chen Luo, Jiri Gesi, Hanqing Lu, Yisi Sang, Manling Li, Jing Huang, Dakuo Wang

机构 * Northeastern University（东北大学） ； Independent Researcher（独立研究员） ； Northwestern University（西北大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.CL

AI总结 提出SENTINEL框架，通过将智能体失败转化为针对性训练任务，在Tau2-Bench Retail上提升Qwen3-4B模型Pass@1从66.4到74.9，优于通用合成任务上的强化学习。

Viral Proteins Reveal Geometry of Protein Language Models

病毒蛋白质揭示蛋白质语言模型的几何结构

Arthur Bigot, Harmon Bhasin, Core Francisco Park, Eugene Shakhnovich, Dianzhuo Wang

机构 * University of Washington（华盛顿大学） ； DeepMind（深度思维） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 研究蛋白质语言模型在不平衡数据下对病毒蛋白的表示，发现嵌入空间中存在主导的“天然性”轴，该轴按模型困惑度排序序列，且缩放效果因病毒家族而异，但嵌入仍保留病毒特异性信号。

Comments Accepted at ICML 2026 GenBio Workshop and FM4LS Workshop. Code available at https://github.com/MisteFr/viral-proteins-plms

MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

MotionEnhancer: 利用视频扩散模型增强运动感知的视觉-语言模型

Yifan Xu, Chao Zhang, Ruifei Ma, Fei Gao, Zhifei Yang, Jiaxing Qi, Zhipeng Chen

机构 * School of Computer Science and Engineering, Beihang University（北航计算机科学与工程学院） ； Beijing Digital Native Digital City Research Center（北京数字原生数字城研究中心） ； School of Computer Science, Peking University（北京大学计算机学院） ； School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 提出MotionEnhancer，通过从视频扩散模型中提取运动先验并利用注意力对齐增强视觉-语言模型的运动理解能力，无需额外参数或架构修改，在运动级视频理解基准上取得一致提升。

Comments Accepted by CVPR 2026

The Dual Mechanisms of Spatial Variable Binding in Vision-Language Models

视觉-语言模型中空间变量绑定的双重机制

Kelly Cui, Nikhil Prakash, Shoval Messica, Ayush Raina, David Bau, Antonio Torralba, Tamar Rott Shaham

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） ； Sony Playstation（索尼PlayStation） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 本文揭示视觉-语言模型通过语言骨干中的内容无关空间关系编码和视觉编码器中的全局布局表示两种机制实现空间变量绑定，其中视觉编码器起主导作用。

Comments 37 pages, 53 figures

Attack Detection using Time Series Foundation Models

使用时间序列基础模型的攻击检测

Sribalaji C. Anand, Anh Tung Nguyen, George J. Pappas

机构 * University of Pennsylvania（宾夕法尼亚大学） ； KTH Royal Institute of Technology（皇家理工学院） ； Uppsala University（乌普萨拉大学） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对无模型知识的网络物理系统，提出基于TimesFM时间序列基础模型的零样本攻击检测方法，在IEEE 14节点电力系统上验证其性能。

Comments Under review

RogueMerge: Robust and Unified Attacks against LLM Model Merging

RogueMerge: 针对大语言模型合并的鲁棒统一攻击

Jinghuai Zhang, Yetian He, Kunlin Cai, Han Zhao, Fnu Suya, Yuan Tian

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 其他LLM ：LLM(title,abstract)；分类 cs.LG

AI总结 提出RogueMerge框架，通过联合优化、元学习模拟和分布鲁棒优化，解决模型合并中针对自回归生成、未知合并配置和攻击提示泛化的三大挑战，实现鲁棒且统一的攻击。

The Attribution Contract: Feature Attribution for Generative Language Models

归因契约：生成式语言模型的特征归因

Giang Nguyen

机构 * Guide Labs（Guide实验室） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 针对生成式语言模型中特征归因的歧义性，提出归因契约规范，明确归因对象、特征范围、生成过程等要素，并通过自回归和扩散模型案例展示不同契约下的归因效果。

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

dgMARK: 面向扩散语言模型的解码引导水印方法

Pyo Min Hong, Albert No

机构 * Department of Computer Engineering, Hongik University（鸿基大学计算机工程系） ； Department of Artificial Intelligence, Yonsei University（延世大学人工智能系） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 提出dgMARK方法，通过引导离散扩散语言模型的去掩码顺序满足奇偶约束，实现无需显式重加权概率的文本水印嵌入，并利用滑动窗口检测器保证对编辑操作的鲁棒性。

Comments Accepted at ICML 2026. Project page: https://dgmark-watermarking.github.io

PinPoint: Prompting with Informative Interior Points

PinPoint: 通过信息性内部点进行提示

Pouya Sadeghi, Shawn He, Pedro Pablo Guerrero Vela, C. Thomas, Alex Wong, Sirisha Rambhatla

机构 * University of Waterloo（滑铁卢大学） ； Critical ML ； Apple（苹果公司） 纠错

专题命中 其他LLM ：prompting(title)；language model(abstract)；分类 cs.CL

AI总结 针对指代图像分割中VLM与SAM结合时因提示模糊导致的性能差距，提出无需训练的确定性点选择器PinPoint，通过融合视觉线索选择稳定、信息丰富的内部点，在无训练下达到监督和强化学习方法的性能。

Unveiling the Fragility of Vision-Language Models: Multi-Modal Adversarial Synergy via Texture-Constrained Perturbations and Cross-Modal Optimization

揭示视觉-语言模型的脆弱性：通过纹理约束扰动和跨模态优化的多模态对抗协同

Xiang Fang, Wanlong Fang, Changshuo Wang

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； Nanyang Technological University, Singapore（新加坡南洋理工大学） ； University College London（伦敦大学学院） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 提出多模态对抗协同框架，通过纹理约束的通用对抗扰动和可学习的文本提示扰动，在黑盒设置下联合优化，揭示视觉-语言模型在多模态攻击下的脆弱性。

Comments Publish in AAAI 2026

Adversarial Water-Filling: Theory, Algorithms and Foundation Model

对抗性注水：理论、算法与基础模型

Xindi Tong, Chee Wei Tan, H. Vincent Poor

机构 * College of Computing and Data Science (CCDS), Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院（CCDS），新加坡） ； Princeton University, United States（普林斯顿大学，美国） 纠错

专题命中 其他LLM ：foundation model(title,abstract)；分类 cs.LG

AI总结 针对频率和空间上的竞争资源分配问题，提出对抗性注水（AWF）问题及其理论和算法，并开发无线基础模型学习AWF搜索动力学，实现超过一个数量级的运行时间改进。

Comments Submitted to IEEE Journal of Selected Topics in Signal Processing

Forgetting in Language Models: Capacity, Optimization, and Self-Generated Replay

语言模型中的遗忘：容量、优化与自生成回放

Martin Marek, Dongkyu Cho, Shikai Qiu, Rumi Chunara, Pavel Izmailov, Andrew Gordon Wilson

机构 * New York University（纽约大学） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.LG

AI总结 本文研究了语言模型中的遗忘问题，发现自生成样本可作为有效的回放数据几乎消除遗忘，并揭示了容量限制和低学习率对遗忘的影响。