语言大模型 / LLM

GPUTOK: GPU Accelerated Byte Level BPE Tokenization

GPUTOK: 基于GPU的字节级BPE分词

Venu Gopal Kadamba, Kanishkha Jaisankar

机构 * New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GPUTOK提出基于GPU的字节级BPE分词器，通过优化算法和内存管理，显著提升分词速度，同时保持输出质量，适用于长上下文推理任务。

MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling

MiniCPM-SALA: 融合稀疏与线性注意力以实现高效长上下文建模

MiniCPM Team, Wenhao An, Yingfa Chen, Yewei Fang, Jiayi Li, Xin Li, Yaohui Li, Yishan Li, Yuxuan Li, Biyuan Lin, Chuan Liu, Hezi Liu, Siyuan Liu, Hongya Lyu, Yinxu Pan, Shixin Ren, Xingyu Shen, Zhou Su, Haojun Sun, Yangang Sun, Zhen Leng Thai, Xin Tian, Rui Wang, Xiaorong Wang, Yudong Wang, Bo Wu, Xiaoyue Xu, Dong Xu, Shuaikang Xue, Jiawei Yang, Bowen Zhang, Jinqian Zhang, Letian Zhang, Shengnan Zhang, Xinyu Zhang, Xinyuan Zhang, Zhu Zhang, Hengyu Zhao, Jiacheng Zhao, Zhi Zheng, Jie Zhou, Zihan Zhou, Shuo Wang, Chaojun Xiao, Xu Han, Zhiyuan Liu, Maosong Sun

机构 * MiniCPM Team（MiniCPM 团队） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MiniCPM-SALA通过融合稀疏与线性注意力机制，实现高效长上下文建模，显著降低训练成本并提升推理效率。

Comments MiniCPM-SALA Technical Report

SHIFT: Exploring the Boundary of RDMA Network Fault Tolerance

SHIFT：探索RDMA网络容错的边界

Shengkai Lin, Kairui Zhou, Hongtao Zhang, Yibo Wu, Yi Pan, Yihan Yang, Qinwei Yang, Wei Zhang, Arvind Krishnamurthy, Shizhen Zhao

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SHIFT通过用户空间RDMA层实现跨NIC容错，保持正确内存语义，有效应对NIC故障和链路异常，减少训练重启成本。

When Can Transformers Count to n?

Transformer何时能数到n？

Gilad Yehudai, Haim Kaplan, Guy Dar, Royi Rassin, Asma Ghandeharioun, Mor Geva, Amir Globerson

机构 * NYU Center for Data Science（纽约大学数据科学中心） ； School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院） ； Google Research（谷歌研究） ； Bar-Ilan University（巴伊兰大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究揭示了Transformer在计数任务中受词汇量限制的理论瓶颈，证明词汇量决定计数难度。

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers

旋转位置嵌入作为相位调制：长上下文Transformer的RoPE基础理论界限

Feilong Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文将RoPE重新解释为相位调制，推导出长上下文Transformer中RoPE基础的理论界限，揭示了位置一致性、精度和深度对模型性能的影响。

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs

CoPE：剪裁RoPE作为长上下文LLM的可扩展免费午餐

Haoran Li, Sucheng Ren, Alan Yuille, Feng Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CoPE通过软剪裁RoPE的低频成分，有效提升长上下文LLM的性能，实现可扩展的免费午餐。

PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction

PRISM：通过最大编码率减少原理推导出白盒变换器作为信号-噪声分解算子

Dongchen Huang

机构 * Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Prism通过几何构造实现白盒变换器，通过信号-噪声分解提升模型可解释性与性能

Comments 12 pages, 6 figures. Derives Transformer as a signal-noise decomposition operator via Maximizing Coding Rate Reduction. Identifies 'Attention Sink' as spectral resonance (Arnold Tongues) and proposes $π$-RoPE for dynamical stability

SPARC-RAG: Adaptive Sequential-Parallel Scaling with Context Management for Retrieval-Augmented Generation

SPARC-RAG：基于上下文管理的自适应顺序-并行扩展用于检索增强生成

Yuxin Yang, Gangda Deng, Ömer Faruk Akgül, Nima Chitsazan, Yash Govilkar, Akasha Tigalappanavara, Shi-Xiong Zhang, Sambit Sahu, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； Capital One 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SPARC-RAG通过多代理框架实现顺序与并行扩展的协调，提升检索增强生成在多跳问答中的性能和效率。

Industry-Aligned Granular Topic Modeling

面向行业的细粒度主题建模

Sae Young Moon, Myeongjun Erik Jang, Haoyan Luo, Chunyang Xiao, Antonios Georgiadis, Fran Silavong

机构 * J.P. Morgan Chase（摩根大通） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TIDE框架，基于大语言模型实现细粒度主题建模，并提供业务应用支持功能，实验表明其在工业场景中表现优异。

FALCONEye: Finding Answers and Localizing Content in ONE-hour-long videos with multi-modal LLMs

FALCONEye: 在一小时内视频中寻找答案并定位内容的多模态大语言模型

Carlos Plou, Cesar Borja, Ruben Martinez-Cantin, Ana C. Murillo

机构 * DIIS-I3A, University of Zaragoza（DIIS-I3A，西班牙阿利坎特大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 FALCONEye通过多模态大语言模型在小时长视频中高效定位内容并回答问题，超越现有模型性能并显著降低推理成本。

CodeMEM: AST-Guided Adaptive Memory for Repository-Level Iterative Code Generation

CodeMEM: 基于AST的适应性内存用于仓库级迭代代码生成

Peiding Wang, Li Zhang, Fang Liu, Chongyang Tao, Yinghao Zhu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 CodeMEM通过基于AST的动态内存管理，提升仓库级迭代代码生成的指令遵循能力与效率。

Comments preprint

LiCoMemory: Lightweight and Cognitive Agentic Memory for Efficient Long-Term Reasoning

LiCoMemory: 轻量级和认知代理记忆用于高效的长期推理

Zhengjun Huang, Zhoujin Tian, Qintian Guo, Fangyuan Zhang, Yingli Zhou, Di Jiang, Zeying Xie, Xiaofang Zhou

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LiCoMemory通过轻量级分层图和时间感知检索提升长期对话推理效率和准确性

Agent-based simulation of online social networks and disinformation

基于代理的在线社交网络与虚假信息模拟

Alejandro Buitrago López, Alberto Ortega Pastor, David Montoro Aguilera, Mario Fernández Tárraga, Jesús Verdú Chacón, Javier Pastor-Galindo, José A. Ruipérez-Valiente

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出了一种基于代理的社交网络模拟框架，结合生成模块和红色模块，用于研究虚假信息传播的动态及影响。

Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures (XAMT)

针对异构多智能体架构中的隐蔽内存篡改的双层优化

Akhil Sharma, Shaikh Yaser Arafat, Jai Kumar Sharma, Ken Huang

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 XAMT通过双层优化方法针对异构多智能体架构中的隐蔽内存篡改问题，提出了一种新的训练时威胁模型，以提升系统安全性。

Comments 10 pages, 5 figures, 4 tables. Conference-style paper (IEEEtran). Proposes unified bilevel optimization framework for covert memory poisoning attacks in heterogeneous multi-agent systems (MARL + RAG)

Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks

目标导向搜索在长上下文记忆任务中优于目标无关的记忆压缩

Yicong Zheng, Kevin L. McKee, Thomas Miconi, Zacharie Bugaud, Mick van Gelderen, Jed McCaleb

机构 * Astera Institute（Astera研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SUMER通过目标导向搜索在长上下文记忆任务中超越传统记忆压缩方法，达到SOTA性能。

On 10x Better Scalability: KV Stores Scale Up KV Cache

关于10倍更好可扩展性：KV存储扩展KV缓存

Weiping Yu, Ye Jiarui, He Mengke, Junfeng Liu, Siqiang Luo

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SGLANG-LSM通过数据库存储架构提升大规模LLM缓存性能，实现缓存命中率提升143%和TTFT降低24%。

General Agentic Memory Via Deep Research

通用代理记忆 via 深度研究

B. Y. Yan, Chaofan Li, Hongjin Qian, Shuqi Lu, Zheng Liu

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Renmin University of China（中国人民大学） ； Peking University（北京大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通用代理记忆框架GAM，通过即时编译原则结合记忆器和研究者组件，利用大语言模型实现高效记忆管理和任务完成优化。

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners

CaKE：电路感知编辑实现通用知识学习

Yunzhi Yao, Jizhan Fang, Jia-Chen Gu, Ningyu Zhang, Shumin Deng, Huajun Chen, Nanyun Peng

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； University of California, Los Angeles（美国加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CaKE通过电路感知编辑提升LLMs对更新知识的多跳推理能力，实现20%的准确率提升并降低内存消耗

Comments EMNLP 2025

SmartDoc: A Context-Aware Agentic Method Comment Generation Plugin

Vahid Etemadi, Gregorio Robles

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 6 pages, Already submitted to The 3rd International Workshop on Integrated Development Environments (the IDE Workshop)

MR.Rec: Synergizing Memory and Reasoning for Personalized Recommendation Assistant with LLMs

Jiani Huang, Xingchen Zou, Lianghao Xia, Qing Li

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Exploring and Evaluating Real-world CXL: Use Cases and System Adoption

Xi Wang, Jie Liu, Jianbo Wu, Shuangyan Yang, Jie Ren, Bhanu Shankar, Dong Li

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Journal ref In Proceedings of the 2025 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pp. 1048-1061, IEEE, 2025

Beyond More Context: How Granularity and Order Drive Code Completion Quality

Uswat Yusuf, Genevieve Caumartin, Diego Elias Costa

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Flow4Agent: Long-form Video Understanding via Motion Prior from Optical Flow

Ruyang Liu, Shangkun Sun, Haoran Tang, Ge Li, Wei Gao

机构 * School of Electronic and Computer Engineering, Shenzhen Graduate School, 2 Peng Cheng LaboratoryPeking University（1 电子与计算机工程学院，深圳研究生院，2 深圳鹏城实验室，北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to ICCV' 2025

Vibe coding: programming through conversation with artificial intelligence

Advait Sarkar, Ian Drosos

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Sarkar, A., & Drosos, I. (2025). Vibe coding: Programming through conversation with artificial intelligence. In Proceedings of the 36th Annual Conference of the Psychology of Programming Interest Group (PPIG 2025)

LogPilot: Intent-aware and Scalable Alert Diagnosis for Large-scale Online Service Systems

Zhihan Jiang, Jinyang Liu, Yichen Li, Haiyu Huang, Xiao He, Tieying Zhang, Jianjun Chen, Yi Li, Rui Shi, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by the 40th IEEE/ACM International Conference on Automated Software Engineering (ASE 2025)

Sculptor: Empowering LLMs with Cognitive Agency via Active Context Management

Mo Li, L. H. Xu, Qitai Tan, Long Ma, Ting Cao, Yunxin Liu

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Preprint. Work in progress

Cost-Optimal Grouped-Query Attention for Long-Context Modeling

Yingfa Chen, Yutong Wu, Chenyang Song, Zhen Leng Thai, Xingyu Shen, Xu Han, Zhiyuan Liu, Maosong Sun

机构 * NLP Group, DCST, IAI, BNRIST, Tsinghua University, Beijing, China（自然语言处理组、国防科技大学、人工智能院、北京理工大学、清华大学、北京、中国） ； SIST, University of Science and Technology Beijing, Beijing, China（软件学院、北京科技大学、北京、中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 Main

Growing with Your Embodied Agent: A Human-in-the-Loop Lifelong Code Generation Framework for Long-Horizon Manipulation Skills

Yuan Meng, Zhenguo Sun, Max Fest, Xukun Li, Zhenshan Bing, Alois Knoll

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments update fig 1, typo correction - v2

Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings

Stephen Zhang, Mustafa Khan, Vardan Papyan

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

HD-MoE: Hybrid and Dynamic Parallelism for Mixture-of-Expert LLMs with 3D Near-Memory Processing

Haochen Huang, Shuzhang Zhong, Zhe Zhang, Shuangchen Li, Dimin Niu, Hongzhong Zheng, Runsheng Wang, Meng Li

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 9 pages, 15 figures, International Conference on Computer-Aided Design (ICCAD) 2025