语言大模型 / LLM

K-EXAONE 2.0 Technical Report

K-EXAONE 2.0 技术报告

Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Ahra Jo, Hyunjik Jo, Yeonsik Jo, Minhyeok Jung, Doyoung Kim, Heegyu Kim, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Byungoh Ko, Changhun Lee, Dohaeng Lee, Haeju Lee, Jinsik Lee, Kyungmin Lee, Minwoo Lee, Wonkee Lee, Sangha Park, Sungjune Park, Kwangrok Ryoo, Kijung Seo, Minju Seo, Yongwoo Song, Sejong Yang, Heuiyeen Yeen, Stanley Jungkyu Choi, Yemuk Choi, Yongchan Chun, Jiwon Ham, Dasol Hong, Sujeong Im, Kijeong Jeon, Gerrard Jeongwon Jo, Hyeongjun Jo, Yujin Jo, Jiyeon Jung, Naeun Kang, Daeseong Kim, Euisoon Kim, Hayeon Kim, Hyosang Kim, Myoungshin Kim, Unsol Kim, Youchul Kim, Chaeeun Lee, ChaeYoon Lee, Edward Hwayoung Lee, Honglak Lee, Hwansoo Lee, Minkyung Lee, Sangeun Lee, Solji Lim, Woohyung Lim, Chanwoo Moon, Jueun Mun, Jimin Park, Seojeong Park, Yongmin Park, Hyerin Seo, Donghyeon Shin, Donghyun Son, Eunyong Son, Kaehyun Um, Sihoon Yang, Chang En Yea, Sihyuk Yi, Kyungjae Yoo, Chansik Yoon

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该报告介绍LG AI Research开发的K-EXAONE 2.0，这是一款7500亿参数的MoE多语言基础模型，经升级前代模型而来，支持25.6万token上下文，在多类评估中表现优异，以Apache 2.0许可发布，助力AI生态发展。

TraceCAD: Trace-Guided Repair for Agentic CAD Generation

TraceCAD：面向智能体CAD生成的轨迹引导修复

Fengxiao Fan, Jingzhe Ni, Fan Sang, Xiaolong Yin, Yu Liu, Ruofeng Tong, Min Tang, Peng Du

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 TraceCAD是一种用于智能体CAD生成的轨迹引导修复方法，通过引入持久状态等机制提升了CAD生成的几何质量与修复可靠性，在DeepCAD基准测试中取得了良好效果。

Comments 18 pages, 7 figures; includes supplementary material

MutMem: Cryptographically Authorized Mutation in Persistent Agent Memory

MutMem：持久智能体内存中的密码学授权突变

Walid Saidi

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对持久智能体内存的授权与防篡改问题，提出HOM-AIMOS中的MutMem协议，经实验验证其在多个基准任务中表现良好，可有效抵御中毒攻击。

Comments https://github.com/wallidsaydi-creator/HOM-AIMOS. 32 Pages

Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

基于语言模型智能体的长时自主架构研究：一项行为案例研究

Aon Safdar, Mohamed Saadeldin

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究以语言模型智能体为唯一研究者开展长时神经架构设计案例，经三阶段约100次实验改进了视觉Transformer，揭示其生产力阶段结构等四项发现，提出自主研究的未来方向。

Comments This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

PGMem: Tightly Coupled Persona-Memory Graph for Lifelong Personalized Agents

PGMem：用于终身个性化智能体的紧耦合角色记忆图

Wonjun Choi, Yerim Kim, Yukyung Lee, Susik Yoon

机构 * Korea University（高丽大学） ； Boston University（波士顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 该研究针对现有对话智能体记忆系统的角色与事件松散耦合问题，提出PGMem异构角色记忆图，通过溯源边关联角色与事件，在多个基准测试中性能优于多种基线方法。

Salami Attack: Stealthy Collusive Memory Poisoning against OpenClaw

Salami攻击：针对OpenClaw的隐蔽合谋式内存投毒

Zheng Lin, Yuzhe Huang, Zhenxing Niu, Xianmin Ye, Haichang Gao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对OpenClaw，提出MemCollusion框架，采用Salami策略生成合谋式内存投毒攻击，在48种场景下平均内存保存率81.3%、攻击成功率75.0%，可应对良性内存稀释与内存级防御。

When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses

当记忆更新但行为未更新时：修复个性化智能体响应中的隐式陈旧依赖

Haofei Sun, Lin He

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对智能体存在的隐式陈旧依赖问题，提出StateAuditor反向审计方法，在STALE基准上实现显著性能提升，验证了转换机制对修复IPA缺口的有效性。

Comments 9 pages, 4 figures; supplementary material in ancillary files

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 长上下文与记忆 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching

S$^4$R：用于压缩长上下文KV缓存的选择性采样、子空间与稀疏重构

Jialong Han, You Wu, Kewei Tu

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 S$^4$R通过选择性采样token构建低秩子空间、稀疏重构KV表示，在LongBench等数据集上实现最高5倍KV压缩且接近全缓存准确率，兼顾压缩效率与提示词适应性。

Width, Memory, and Delay: A Resource Accounting for the Limits of Flat Multi-Agent Systems

宽度、内存与延迟：扁平多智能体系统的资源限制核算

Oleksandr Kuznetsov, Emanuele Frontoni

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对扁平多智能体系统，构建了基于宽度、内存、延迟的定量资源模型，反驳了其存在不可约因果下限的结论，明确资源不可替代性并给出设计规则。

Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

规模化的记忆解码器：一种预训练的参数化长期记忆

Rubin Wei, Jiaqi Cao, Jiarui Wang, Junming Zhang, Qipeng Guo, Bowen Zhou, Zhouhan Lin

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本研究将记忆解码器扩展至69亿参数并在3000亿token上预训练，通过分布式Faiss等技术解决索引瓶颈，发现独立扩展记忆可更高效提升语言模型性能，在多基准测试中验证了其优势。

MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair

MemSecBench：追踪智能体内存中毒从持久性到后果及修复的全生命周期

Xuanze Chen, Xukang Xie, Wentao Fu, Jiajun Zhou, Shanqing Yu, Qi Xuan

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出MemSecBench基准测试，通过24种配置的实验发现不同内存系统栈在智能体内存中毒的持久性、后果及选择性修复上存在显著差异，为智能体内存安全评估提供了工具。

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

推理时进行推测：通过联合智能体-推测器强化学习教智能体预测其下一个工具调用

Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

机构 * University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校） ； Linkedin Inc（领英公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大型语言模型智能体等待工具调用结果时间长的问题，提出联合智能体-推测器强化学习方法，统一智能体和推测器为自推测智能体，复用缓存，提升了Qwen不同模型下一个工具调用的Hit@1指标及任务成功率。

Authoring Agent Skills: A Software-Engineering Approach

编写智能体技能：一种软件工程方法

Giuseppe Destefanis

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究如何编写智能体技能，遵循软件工程原则，以Claude Code为参考实现阐述技能结构等，与其他塑造智能体行为机制比较并给出选择规则，还介绍评估驱动编写过程等，为智能体技能编写提供方法。

MusiChat: Vibe Composing for Music Creation

MusiChat：用于音乐创作的氛围作曲

Callie C. Liao, Duoduo Liao, Ellie L. Zhang

机构 * Stanford University（斯坦福大学） ； George Mason University（乔治梅森大学） ； IntelliSky（智能天空） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对AI音乐创作中迭代难问题，提出MusiChat系统，通过分层可控框架、记忆增强架构及混合意图路由机制，实现人机协作音乐创作，经评估在交互准确率和用户喜好比例上表现良好，支持多轮音乐创作和人机共创。

DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation

DynaCalKV：通过头部分组和自适应秩分配实现键值缓存压缩

Tan T. Nguyen, Quan V. Dang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

在注意力流形中分离语义注意力与结构偏差

Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题，提出无需训练的 SPAR 方法，通过净化噪声和重分配注意力，有效恢复真实视觉基础且计算开销小。

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1：世界模型的证据？

Roberto Spinelli, Thiago C. Martins

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人，通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力，但也有效率和感知局限。结果挑战传统观点，促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

MEMENTO：内存引导的基于代码的策略进化的模因算法

Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

机构 * Center for Applied Autonomous Sensor Systems (AASS), Örebro University（应用自主传感器系统中心（AASS），于默奥大学） ； Örebro University（于默奥大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究长期具身任务中基于代码的策略进化问题，提出内存引导单精英模因框架MEMENTO，通过进化展开评估器及利用反馈指标改进策略，在相关领域实验中性能优于基线，还证明了模拟到现实转移的可行性。

Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

解耦注意力融合：通过高效的键值缓存重用加速检索增强生成

Xiabao Wu, Wentao Liu, Yongchao Liu, Jiajun Zheng

机构 * Ant Group, China（蚂蚁集团，中国） ； Southeast University, Nanjing, China（东南大学，南京，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对RAG在长上下文场景中TTFT延迟高及缓存问题，提出解耦注意力融合（DAF）框架，将注意力过程解耦为三个阶段，与Flash-Attention内核兼容，实验显示其在不牺牲准确性的情况下，相比CacheBlend和完全重新计算有显著加速。

Comments Accepted by EuroSys 2026 (poster track)

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

新闻爬虫语言模型：一种用于高质量新闻爬虫的小型长上下文模型

Pascal Stolzenburg, Jonas Golde, Max Dallabetta, Alan Akbik

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究旨在解决新闻页面结构化内容提取难题，提出基于眼底新闻爬虫库微调的小型长上下文语言模型news-crawler-LM，能将HTML转换为文本和JSON，在HTML到Markdown和JSON提取任务中性能出色，且向研究社区发布了所有模型和工件。

Comments KONVENS 2026

PrefReward: Learning User Preference Matrix for Personalized Text Generation

PrefReward：学习用于个性化文本生成的用户偏好矩阵

Yue Wu, Chengbing Wang, Yimeng Bai, Xiaoyan Zhao, Yang Zhang, Fuli Feng

机构 * University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大语言模型个性化生成中存在的问题，提出PrefReward框架，通过提取用户特定偏好矩阵并将其作为奖励信号指导生成，实验证明该框架在生成质量和个性化可解释性上优于基线。

Planning with Transformers: Chain of Computation and Structured Context Windows

使用Transformer进行规划：计算链与结构化上下文窗口

Ehsan Futuhi, Nathan R. Sturtevant

机构 * Department of Computing Science, University of Alberta（阿尔伯塔大学计算科学系） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型解决规划问题的不足，提出计算链架构，利用结构化上下文窗口，让语言模型学习规划策略、预测世界模型并执行算术运算，在多个任务上取得高成功率，能解决复杂汉诺塔问题且减少训练数据。

SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation

SelKV：基于逐令牌合并或丢弃及注意力补偿的选择性键值缓存合并

Soumia Bouyahiaoui, Manel Kara laouar, Aicha Boutorh, Mohamed Hadj Ameur

机构 * National School of Artificial Intelligence (ENSIA)（国家人工智能学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大型语言模型KV缓存内存占用瓶颈问题，提出无训练的SelKV双组件框架，通过软余弦门和注意力比率补偿机制进行缓存压缩，在LongBench数据集上仅保留25%缓存时性能强大，在多文档问答任务中表现出色且解码加速。

COBS: Cumulant Order Block Sparse Attention

COBS：累积阶数块稀疏注意力

Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra

机构 * MatX 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型中缓解KV缓存读取瓶颈的块稀疏注意力方法，以DeepSeek的NSA为代表分析其块选择问题。通过累积量展开指出现有方法局限，提出COBS方法，在32k RULER基准上提升了NSA基线分数，缩小与密集注意力差距，且减少了KV缓存读取流量。

Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents

令牌流防火墙：持久人工智能代理的语义运行时审计

Puji Wang, Yingchen Zhang, Ruqing Zhang, Jiafeng Guo, Xueqi Cheng

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学北京校区） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对持久人工智能代理不安全内容传播问题，提出TokenWall运行时防御框架，通过对令牌流进行语义审计及相关操作，实现安全-效用权衡，实验显示其有效降低攻击成功率，保持高良性通过率且增加延迟少。

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

保留什么，遗忘什么：大语言模型和智能体中内存压缩的率失真视角

Ashwin Gerard Colaco, Nada Lahjouji

机构 * University of California, Irvine（加州大学尔湾分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型和智能体内存压缩问题，提出基于率失真视角统一分类各层方法，构建七轴分类法并转移机制，还针对相关问题未被测量及缺乏统一基准的情况，转化为提案、实验、原则并梳理开放问题。

A-TMA: Decoupling State-Aware Memory Failures in Long-Term Agent Memory

A-TMA: 解耦长期智能体记忆中的状态感知记忆故障

Zitong Shi, Yixuan Tang, Anthony Kum Hoe Tung

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对长期记忆中状态不一致导致的幽灵记忆问题，提出A-TMA方法，通过状态感知覆盖层在存储、检索和回答三个层面解耦故障，在冲突密集基准上显著提升时间F1。

Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures

用于稀疏分布式内存的秩排序N选M码：在针对当代神经形态架构的噪声鲁棒性中解开表示和学习效应

Joy Bose

机构 * Independent Researcher（独立研究者） ； Bengaluru, India（印度班加罗尔） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。

Comments 14 pages, 8 tables, 2 figures. Revisits rank-order sparse distributed memory for continual learning and memory-augmented AI. Includes comparisons with CALM and SpikingMamba, statistical evaluation, and real embedding experiments

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

PraMem：用于长时行为预测的实践衍生经验记忆

Zhuoqun Li, Boxi Cao, Jiawei Chen, Hanshu Zhou, Ruoxi Xu, Guiping Jiang, Ruotong Pan, Tingting Gao, Han Li, Xiangyu Wu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun

机构 * Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所中文信息处理实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Fudan University（复旦大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究长时行为预测问题，针对大语言模型在该任务中的不足，提出PraMem范式，通过对历史序列预实践构建经验记忆辅助长时行为预测，实验证明其性能优于现有方法。