语言大模型 / LLM

CogniDual Framework: Self-Training Large Language Models within a Dual-System Theoretical Framework for Improving Cognitive Tasks

Yongxin Deng, Xihe Qiu, Xiaoyu Tan, Chao Qu, Jing Pan, Yuan Cheng, Yinghui Xu, Wei Chu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Journal ref IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2025), pp. 1-5

SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training

SCOUT：用于大语言模型预训练中故障定位的对称共识异常检测

Zhuang Wang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 SCOUT是用于LLM预训练故障定位的统一运行时框架，基于等价副本严格多数共识识别异常，可与主流大模型训练框架集成，解决现有诊断方法的局限。

Bayesian-Agent: Posterior-Guided Skill Evolution Across LLM Agent Harnesses

Bayesian-Agent：面向LLM Agent框架的后验引导技能演化

Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

机构 * IDEA Research（IDEA研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DataArcTech Ltd.（DataArcTech有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出Bayesian-Agent框架，将可复用技能视为假设，通过后验分布指导技能演化（如修补、拆分、压缩等），在多个基准上显著提升性能，表明Agent技能演化应视为后验引导的框架优化。

Comments 20 pages, 11 figures

Self-Correcting Long-Horizon Search Agents via Tree-Structured Memory

基于树状记忆的自修正长程搜索智能体

Aijun Yang, Qianxue Guo, Ziyi Huang, Yuxuan Chen, Shiyou Qian, Jian Cao

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ReTree树状记忆机制，解决LLM搜索智能体的上下文增长与错误推理问题，在四个基准上优于Full-Trajectory ReAct，准确率最高提升25.6个百分点。

Interpreting Language Model Hidden States at Scale

大规模语言模型隐藏状态的解释

Jordan Pettyjohn, Mansi Sakarvadia, Nathaniel Hudson, Daniel McKenzie, Kyle Chard, Ian Foster

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 研究人员提出OmniLens，一种可适配任意模型宽度激活的Lens方法，通过低秩翻译器和Subset-KL技术降低成本，在LLaMA-3.3-70B上构建482个Lens集成，以更低成本复现提示注入检测等案例研究的关键结果。

Living-Harness Is an Interactive-Agent Evolver

Living-Harness：一种交互式智能体演化器

Yuetian Du, Yucheng Wang, He Xu, Jiexu Xu, Shanwen Tan, Bing Zhao, Boyu Yang, Zhijie Xu, Ming Kong, Hu Wei, Jie Liu, Qiang Zhu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出自演化智能体harness Living-Harness，基于Evolution-SOP生成两类过程性知识，在8个交互式环境中大幅提升Pass@1，支持跨模型主干复用演化后的harness状态。

EvoMem: Memory-Augmented Evolution for Code Optimization

EvoMem：用于代码优化的记忆增强进化算法

Viktor Volkov, Valentin Khrulkov, Andrey V. Galichin, Danil Sivtsov, Nikita Glazkov, Olga Volkova, Konstantin Pchelin, Iaroslav Bespalov, Dmitry V. Dylov, Petr Anokhin, Ivan Oseledets

机构 * AXXX ； Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学） ； Applied AI Institute（应用人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 EvoMem是用于LLM驱动的进化程序搜索的持久记忆架构，可捕获复用变异知识，在多任务基准测试中提升了目标指标或搜索速度，减少冗余探索。

Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

用于剩余使用寿命估计的时间序列基础模型嵌入

Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Vasileios Belagiannis

机构 * University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； Siemens AG（西门子股份公司） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出冻结预训练时间序列基础模型Chronos-2作为骨干，结合轻量回归头进行剩余寿命预测，在工业传感器数据上优于多种基线方法。

Comments Accepted to EUSIPCO 2026, 4 pages, 2 figures, 2 tables

Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference

KV缓存的自适应过滤：诊断和纠正大语言模型推理中的结构角色偏差

Soumil Mandal

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型推理中KV缓存问题，通过反事实实验确定抑制KEY令牌是最佳过滤方法，采用无重新训练、基于角色的条件分配缩小与H2O方法差距，15MB线性角色探测器提供标签且推理成本可忽略。

Comments 6 pages, 2 figures, 5 tables

AttriMem: Attribution-Guided Process Feedback for Agent Memory Construction

AttriMem：用于智能体记忆学习的归因引导过程反馈

Qinfeng Li, Yuntai Bao, Xinyan Yu, Hongze Chen, Yanming Liu, Huifeng Zhu, Yier Jin, Jintao Chen, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究针对LLM智能体有效构建记忆难的问题，提出AttriMem框架，通过用token级对最终答案贡献的局部奖励增强全局结果奖励，以学习记忆构建策略，实验表明该框架性能优于多种基线，具有泛化性且稳定了RL优化。

UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

UT-ACA：基于不确定性触发的自适应上下文分配用于长上下文推理

Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institude（深圳环城区域研究所） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 UT-ACA通过动态调整上下文窗口，减少长上下文推理中的上下文使用量，同时保持生成质量。

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents

从错误记忆到修正行动：记忆增强智能体的依赖引导回滚修复

Caili Yu, Yiqi Wang, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Zhangkai Wu, Kaize Shi, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对记忆增强智能体的错误记忆问题，提出依赖引导回滚修复方法，在150案例受控基准和50案例改编测试中，均优于对比方法，实现了更优的记忆恢复效果与成本权衡。

TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling

TideRL：通过就绪感知调度提升智能体强化学习的有效吞吐量

Yanyu Ren, Xizheng Wang, Xiao Liu, Bowen Lv, Hanchen Zhang, Shudan Zhang, Hanyu Lai, Shuai Wang, Li Chen, Dan Li, Jie Tang

机构 * Tsinghua University（清华大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TideRL是一种就绪感知弹性RL系统，通过CTB、RA²P和ERS技术，在多轮智能体工作负载上大幅提升RL训练有效吞吐量，同时优化KV缓存命中率、训练时间和等待时间。

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Transformer中的位置编码：从绝对与相对方法到旋转位置嵌入及长上下文扩展

Jiguo Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。

Comments 14 pages, a cookbook for students and junior researchers

Blast Radius

爆炸半径

MY Pitsane, Hope Mogale

机构 * Algorithm Reconnaissance Division（算法侦察部） ； Mankind Research Labs（人类研究实验室） ； North-West University（西北大学） ； University of Pretoria（比勒陀利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对智能体编码的令牌浪费问题，提出Blast Radius内存管理层，结合NECROPHORESIS与RDM实现可逆上下文驱逐，在7个OpenAI模型上降低令牌消耗17%-26%，提升编码可持续性。

Memory-Augmented Reinforcement Learning Agent for CAD Generation

具有记忆增强的强化学习代理的CAD生成

Yin Xiaolong, Liu Yu, Shen Jiahang, Lu Xingyu, Ni Jingzhe, Fan Fengxiao, Sang Fan

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种记忆增强的强化学习框架，用于生成CAD模型，通过引入强化学习进行检索和策略优化，有效避免了检索陷阱，提高了复杂CAD模型生成的成功率和几何一致性。

Comments We are withdrawing this manuscript because we have identified issues in the current analysis that require substantial revision. Until these issues are resolved, we do not consider the present version suitable for citation

Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension

基础的裂痕：看似微小的架构选择会影响长上下文扩展

Amanda Bertsch, Luca Soldaini, Matthew R. Gormley, Graham Neubig, Hannaneh Hajishirzi, Kyle Lo, Dirk Groeneveld

机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL

AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。

Comments 29 pages; accepted to COLM 2026

Quantum Coordination Advantages in AI State-Tracking Tasks: Semantic Compilation and Latent Memory

人工智能状态跟踪任务中的量子协调优势：语义编译与潜在记忆

Ming Yang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该研究证明AI状态跟踪任务存在推理阶段量子协调优势，提出边界保持语义编译定理，通过问答、需求审计、稳定器对话等应用展示量子与经典方法的内存及协调分离。

Comments Comments and suggestions are welcome on alphaXiv

Hierarchical Fast-Slow ReAct Agent for Zero-Shot Object-Goal Navigation

用于零样本物体目标导航的分层快慢ReAct智能体

Zhaochen Lan, Zhi Yang, Yuxiang Fu, Mengxiang Lin

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 该研究针对零样本物体目标导航，提出分层快慢ReAct智能体，结合价值图控制器与坐标锚定记忆及VLM，在HM3D、MP3D验证集上取得零样本方法最高成功率，远前沿审议可提升性能。

Comments 11 pages, 6 figures