语言大模型 / LLM

MUON+: Towards More Effective Muon via One Additional Normalization Step for LLM Pre-training

MUON+: 向更有效的穆恩添加一个额外的归一化步骤以用于LLM预训练

Ruijie Zhang, Yequan Zhao, Ziyue Liu, Zhengyang Wang, Yupeng Su, Liyan Tan, Zheng Zhang

机构 * University of California at Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 其他LLM ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Muon+，通过在极化正交化后添加一个归一化步骤，解决极化后更新不平衡问题，提升LLM预训练效果。

MPU: Towards Secure and Privacy-Preserving Knowledge Unlearning for Large Language Models

MPU：面向大语言模型安全和隐私保护的知识遗忘

Tiantong Wang, Xinyu Yan, Tiantong Wu, Yurong Hao, Pengjun Xie, Wei Yang Bryan Lim

机构 * College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)（阿里云-南洋理工大学全球可持续发展科技实验室） ； Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 其他LLM ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 MPU提出一种隐私保护的多扰动副本遗忘框架，通过预处理和后处理模块实现安全的知识遗忘，实验表明其性能与无噪声基线相当甚至更优。

Octopus: History-Free Gradient Orthogonalization for Continual Learning in Multimodal Large Language Models

Octopus：无历史梯度正交化用于多模态大语言模型中的持续学习

Yuehao Liu, Shanyan Guan, Weijia Zhang, Xuanming Shang, Yanhao Ge, Wei Li, Chao Ma

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能大模型关键实验室，人工智能研究院，上海交通大学） ； vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司） 纠错

专题命中 其他LLM ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 Octopus提出一种基于无历史梯度正交化的方法，通过两阶段微调策略平衡持续学习中的可塑性与稳定性，实验表明其在UCIT数据集上性能优于现有最佳方法。

Generative Floor Plan Design with LLMs via Reinforcement Learning with Verifiable Rewards

通过可验证奖励的强化学习进行生成式平面设计

Luis Lara, Aristides Milios, Zhi Hao Luo, Aditya Sharma, Ge Ya Luo, Christopher Beckham, Florian Golemo, Christopher Pal

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 其他LLM ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于LLM的平面设计方法，通过强化学习与可验证奖励提升拓扑和数值约束的满足度，优于现有方法在真实性、兼容性和多样性指标上。

Comments Accepted to Findings of ACL 2026

A cross-species neural foundation model for end-to-end speech decoding

跨物种神经基础模型用于端到端语音解码

Yizi Zhang, Linyang He, Chaofei Fan, Tingkai Liu, Han Yu, Trung Le, Jingyuan Li, Scott Linderman, Lea Duncker, Francis R Willett, Nima Mesgarani, Liam Paninski

机构 * Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； Microsoft（微软公司） ； University of Washington（华盛顿大学） 纠错

专题命中 其他LLM ：foundation model(title)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出端到端BraIn-to-Text框架，通过单个可微神经网络将神经活动转化为连贯句子，利用跨任务、跨物种预训练神经编码器提升语音解码性能，降低词错误率至10.22%。

Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

在完美信息扩展型游戏中水印游戏扮演代理

Juho Kim, Fei Fang, Tuomas Sandholm

机构 * Strategic Machine, Inc.（战略机器公司） ； Strategy Robot, Inc.（策略机器人公司） ； Optimized Markets, Inc.（优化市场公司） 纠错

专题命中 其他LLM ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究如何在完美信息扩展型游戏中对策略进行水印，通过调整LLM的KGW水印技术，展示水印检测的统计测试方法，并探讨质量与可检测性之间的权衡。

Do Language Models Encode Knowledge of Linguistic Constraint Violations?

语言模型是否编码了语言约束违规的知识？

Hardy, Sebastian Padó

机构 * IMS, University of Stuttgart, Stuttgart, Germany（斯图加特大学IMS研究所，斯图加特，德国） 纠错

专题命中 其他LLM ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 研究探讨语言模型是否在参数中编码语言约束违规的表示，通过稀疏自编码器分析激活特征，发现未满足统一违规检测器的条件。

Is Grep All You Need? How Agent Harnesses Reshape Agentic Search

Grep 是否足够？代理如何重塑搜索流程

Sahil Sen, Akhil Kasturi, Elias Lumer, Anmol Gulati, Vamse Kumar Subbiah

机构 * PricewaterhouseCoopers（普华永道） 纠错

专题命中 其他LLM ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过两个实验比较了grep与向量检索在代理搜索中的效果，发现grep在准确性上优于向量检索，但整体表现仍受代理架构和工具调用方式影响。

MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs

MetaBackdoor：利用位置编码作为大语言模型中的后门攻击面

Rui Wen, Mark Russinovich, Andrew Paverd, Jun Sakuma, Ahmed Salem

机构 * Institute of Science Tokyo（东京科学研究院） ； Microsoft Azure（微软Azure） ； Microsoft Security Response Center（微软安全响应中心） 纠错

专题命中 其他LLM ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MetaBackdoor，通过利用位置信息作为触发器，而非修改文本内容，实现对大语言模型的后门攻击，展示了长度相关的触发器可激活隐蔽后门，并展示了自我激活场景和与内容后门的组合攻击。

Complex wavefront engineering via decoupled space-time modulation

通过解耦的时空调制实现复杂波前工程

Virat Tara, Anna Wirth-Singh, Johannes E. Fröch, Arka Majumdar

专题命中 其他LLM ：SLM(summary_cn,abstract)

AI总结 本文提出一种混合架构，通过解耦电调制平面与光学输出平面，实现高-speed、低功耗和大视场的固态SLM。

Comments 21 pages, 5 figures

OpenIIR: An Open Simulation Platform for Information Retrieval Research

OpenIIR：信息检索研究的开放模拟平台

Saber Zerhoudi

专题命中 其他LLM ：LLM(summary_cn,abstract)

AI总结 OpenIIR通过参数化、可重复的LLM驱动人物模拟，提供多代理研究框架，支持四种研究类型，并通过共享核心和模块化扩展推动信息检索研究。

Do Language Models Align with Brains? Prediction Scores Are Not Enough

语言模型与大脑对齐吗？预测分数并不足够

Xiao Jia

机构 * School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（人工智能学院，香港中文大学（深圳）） 纠错

专题命中 其他LLM ：language model(title,abstract)；分类 cs.AI

AI总结 本文通过L-PACT框架评估语言模型与大脑的对齐性，发现预测分数不足以支持两者对齐的结论，所有测试结果均被控制条件解释。

Comments 39 pages, 4 main figures, 6 supplementary figures

How to Scale Mixture-of-Experts: From muP to the Maximally Scale-Stable Parameterization

如何扩展专家混合模型：从muP到最大可扩展性参数化

Leena Chennuru Vankadara, Moritz Haas, Luke Hayward, Sebastian Bordt, Alessandro Breccia

机构 * Gatsby Computational Neuroscience Unit, University College London（Gatsby计算神经科学单元，伦敦大学学院） ； Amazon University of Tübingen, Tübingen AI Center（亚马逊图宾根大学，图宾根人工智能中心） 纠错

专题命中 其他LLM ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了专家混合模型（MoE）在不同扩展制度下的参数缩放问题，提出最大可扩展性参数化（MSSP）以实现稳定性和性能优化。

Not All RAGs Are Created Equal: A Component-Wise Empirical Study for Software Engineering Tasks

并非所有RAG都同等有效：面向软件工程任务的组件级实证研究

Qiang Ke, Yanjie Zhao, Hongjin Leng, Shengming Zhao, Haoyu Wang

专题命中 其他LLM ：large language model(abstract)；language model(abstract)

AI总结 本文通过实证研究分析RAG组件对软件工程任务的影响，发现检索端组件尤其是检索算法对系统性能影响更大，BM25在多种任务中表现稳健。

FuzzAgent: Multi-Agent System for Evolutionary Library Fuzzing

FuzzAgent：用于进化库模糊测试的多智能体系统

Yunlong Lyu, Peng Chen, Fengyi Wu, Junzhe Yu, Kit Long Hon, Hao Chen

专题命中 其他LLM ：LLM(abstract,abstract_cn)

AI总结 FuzzAgent通过多智能体协作实现库模糊测试的迭代进化，提升覆盖率和崩溃分析的准确性，优于现有方法45.1%至191.2%。

Comments Try FuzzAgent at https://fuzzany.org/

Support Before Frequency in Discrete Diffusion

在离散扩散中先支持频率

Adrian Müller, Antoine Gonon, Zebang Shen, Ya-Ping Hsieh, Niao He

机构 * ETH Zürich（苏黎世联邦理工学院） ； EPFL（苏黎世联邦理工学院） ； Academia Sinica（台湾“中央研究院”） 纠错

专题命中 其他LLM ：language model(abstract)；分类 cs.LG

AI总结 研究揭示离散扩散模型在语言建模中通过学习支持结构优先于频率信息，统一扩散显示有效性改进、保持和恶化编辑的三元组，而吸收扩散则将主要质量放在有效性改进移动上。

GEAR: Genetic AutoResearch for Agentic Code Evolution

GEAR：基于遗传算法的自主研究代理

Ahmadreza Jeddi, Minh Ngoc Le, Hakki C. Karaimer, Konstantinos G. Derpanis, Babak Taati

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； AI Center-Toronto, Samsung Electronics（多伦多AI中心，三星电子） ； York University（约克大学） 纠错

专题命中 其他LLM ：prompting(abstract)；分类 cs.AI

AI总结 GEAR通过多路径搜索提升自主研究代理效果，采用群体搜索策略保持多个 promising 方向，通过突变和交叉探索新想法，优于传统方法。

Image Force Effects on Tunneling Currents in an STM -- I `Point charge in the Barrier Region' - Model

图像力对隧道电流的影响：在STM中的I '屏障区域中的点电荷' 模型

Malati Dessai, Arun V. Kulkarni

专题命中 其他LLM ：prompting(abstract)

AI总结 研究图像力对STM中隧道电流密度和电流的影响，发现图像势能降低势垒高度和有效宽度，导致隧道电流密度大幅增加，但此增幅不合理，需重新审视电子作为点粒子的假设。