语言大模型 / LLM

Heterogeneous LLM Serving with General-Purpose Processing-Near-Memory for Retrieval-Based Sparse Attention

面向基于检索的稀疏注意力的通用近内存处理异构大语言模型服务

Hyungkyu Ham, Junhyeong Bae, Seungheon Lee, Myeongjae Jeon, Gwangsun Kim

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 本文针对前沿LLM的基于检索的稀疏注意力需求，提出异构解码服务系统KARAT，结合PNM与OFMS、CMR优化，大幅提升吞吐量与每TDP性能。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis

利用已解决的事件历史进行大语言模型辅助的软件错误诊断

Boyuan Guan, Hailu Xu, Jamie Rogers

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究利用已解决事件历史进行软件错误诊断，提出OM-RAG方法，将问题索引为三元组并单跳嵌入检索先例，为大语言模型管理员提供支持，实验表明该方法在诊断准确率和修复正确性上优于其他方法。

Comments 6 pages, 3 figures, accepted at IEEE SMC 2026

Co-LMLM: Continuous-Query Limited Memory Language Models

Co-LMLM：连续查询有限记忆语言模型

Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi

机构 * Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出连续查询有限记忆语言模型CO-LMLM，通过将知识库的键与文本知识值配对，以低成本生成灵活向量查询，整合检索知识。经多数据集预训练和多模型规模测试，在困惑度和事实精度上优于同类模型。

Comments preprint

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

使用部分双向性训练混合块扩散语言模型

Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型高吞吐量长上下文生成挑战，提出BDLM Mamba-attention混合模型，通过限制反向Mamba扫描到活动去噪块解决缓存问题，在长上下文推理中吞吐量有显著提升。

Comments 16 pages, 3 figures

LLM-based Multi-Agent System for Intelligent Refactoring of Haskell Code

基于大型语言模型的多智能体系统用于Haskell代码的智能重构

Shahbaz Siddeeq, Muhammad Waseem, Zeeshan Rasheed, Md Mahade Hasan, Jussi Rasku, Mika Saari, Henri Terho, Kalle Makela, Kai-Kristian Kemell, Pekka Abrahamsson

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于LLM的多智能体系统，用于自动化Haskell代码重构，通过代码分析、重构执行、验证和调试等角色，提升代码质量与性能。

Comments arXiv admin note: text overlap with arXiv:2502.07928

Journal ref International Conference on Product-Focused Software Process Improvement (PROFES 2025)

Human-Inspired Memory Architecture for LLM Agents

受人类启发的记忆架构用于大语言模型代理

Doga Kerestecioglu, Alexei Robsky, Clemens Vasters, Anshul Sharma, Yitzhak Kesselman

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种受生物启发的记忆架构，通过六个认知机制解决内存积累问题，并引入合成校准方法提升评估准确性。

Comments 10 pages, 4 tables. Preprint; comments welcome

C2RustXW: Program-Structure-Aware C-to-Rust Translation via Program Analysis and LLM

C2RustXW: 通过程序分析和LLM实现的程序结构感知的C到Rust翻译

Yanyan Yan, Yang Feng, Jiangshan Liu, Di Liu, Zixi Liu, Hao Teng, Baowen Xu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出C2RustXW工具，通过程序分析与LLM结合，实现结构感知的C到Rust翻译，提高代码正确性和可维护性，实验显示在CodeNet和GitHub上达到高语法正确率和代码压缩效果。

Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval

唤起用户记忆：通过回忆-熟悉度适应检索个性化LLM

Yingyi Zhang, Junyi Li, Wenlin Zhang, Penyue Jia, Xianneng Li, Yichao Wang, Derong Xu, Yi Wen, Huifeng Guo, Yong Liu, Xiangyu Zhao

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 RF-Mem通过双路径记忆检索实现个性化LLM，结合回忆与熟悉度机制提升记忆检索效率和准确性。

Comments Accepted by ICLR 2026

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

你的代理可能误进化：自我进化大语言模型代理中的新兴风险

Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了自我进化代理中因自我进化偏离导致的误进化风险，揭示了其广泛存在及对安全对齐的影响，并提出缓解策略。

Comments Published in ICLR 2026

MioHint: LLM-assisted Mutation for Whitebox API Testing

MioHint: 利用大语言模型进行白盒API测试

Jia Li, Jiacheng Shen, Yuxin Su, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MioHint利用大语言模型提升白盒API测试效率，实现更高的代码覆盖和突变准确性

Comments Accepted by ICSE 2026 (research track)

AssemMate: Graph-Based LLM for Robotic Assembly Assistance

AssemMate：基于图的LLM用于机器人装配辅助

Qi Zheng, Chaoran Zhang, Zijian Liang, EnTe Lin, Shubo Cui, Qinghongbing Xie, Zhaobo Xu, Long Zeng

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AssemMate是一种基于图的LLM，通过知识图谱问答和视觉增强策略提升机器人装配任务的精度和效率。

FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill

FAST-Prefill：FPGA加速的长上下文LLM预填充稀疏注意力

Rakshith Jayanth, Viktor Prasanna

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FAST-Prefill是首个基于FPGA的长上下文LLM预填充加速器，通过动态稀疏注意力技术提升计算效率和能效。

MemAscend: System Memory Optimization for SSD-Offloaded LLM Fine-Tuning

MemAscend: 为SSD卸载的LLM微调优化系统内存

Yong-Cheng Liaw, Shuo-Han Chen

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MemAscend通过优化系统内存管理，减少SSD卸载LLM微调中的内存消耗，提升模型规模和训练效率。

Comments Accepted by Transactions on Emerging Topics in Computing (TETC)

Hearing More with Less: Multi-Modal Retrieval-and-Selection Augmented Conversational LLM-Based ASR

听更清晰，用更少：多模态检索与选择增强的对话式LLM基于ASR

Bingshen Mu, Hexin Liu, Hongfei Xue, Kun Wei, Lei Xie

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出MARS方法，通过多模态检索与选择提升对话式LLM-ASR的准确性，仅用1.5K小时数据即可超越训练于179K小时数据的顶级系统。

Comments AAAI 2026

Memory Poisoning Attack and Defense on Memory Based LLM-Agents

基于内存的LLM代理中的内存污染攻击与防御

Balachandra Devarangadi Sunil, Isheeta Sinha, Piyush Maheshwari, Shantanu Todmal, Shreyan Mallik, Shuchi Mishra

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了基于内存的LLM代理中的内存污染攻击与防御，通过实验发现预存合法记忆可显著降低攻击效果，并提出两种新的防御机制。

AegisAgent: An Autonomous Defense Agent Against Prompt Injection Attacks in LLM-HARs

AegisAgent：一种对抗LLM-HAR中提示注入攻击的自主防御代理

Yihan Wang, Huanqi Yang, Shantanu Pal, Weitao Xu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AegisAgent通过自主推理和验证机制，有效降低LLM-HAR系统中提示注入攻击的成功率，提升系统安全性。

Chopper: A Multi-Level GPU Characterization Tool & Derived Insights Into LLM Training Inefficiency

Chopper：一个多级GPU特性工具及对LLM训练低效性的衍生见解

Marco Kurzynski, Shaizeen Aga, Di Wu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 Chopper通过多级GPU特性分析揭示LLM训练低效原因，发现频率开销是性能差距的主要因素。

Boosting Pointer Analysis With LLM-Enhanced Allocation Function Detection

通过LLM增强的分配函数检测提升指针分析

Baijun Cheng, Kailong Wang, Ling Shi, Haoyu Wang, Peng Di, Ding Li, Xiangqun Chen, Yao Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出CAFD技术，通过LLM增强的分配函数检测提升指针分析精度，有效识别CAFs并减少别名集大小，提升分析效率和准确性。

VULSOLVER: Vulnerability Detection via LLM-Driven Constraint Solving

通过LLM驱动的约束求解进行漏洞检测：VULSOLVER

Xiang Li, Yueci Su, Jiahao Liu, Zhiwei Lin, Yuebing Hou, Peiming Gao, Yuanchao Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 VULSOLVER通过LLM驱动的约束求解方法，实现高精度漏洞检测，准确率达97.85%

LLM-Guided Scenario-based GUI Testing

Shengcheng Yu, Yuchen Ling, Chunrong Fang, Quan Zhou, Yi Zhao, Chunyang Chen, Shaomin Zhu, Zhenyu Chen

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Investigating Software Aging in LLM-Generated Software Systems

César Santos, Ermeson Andrade, Roberto Natella

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Presented at the 17th International Workshop on Software Aging and Rejuvenation (WoSAR), 2025

Review of Tools for Zero-Code LLM Based Application Development

Priyaranjan Pattnayak, Hussain Bohra

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted in 6th World Conference on Artificial Intelligence: Advances and Applications (WCAIAA 2025)

RustAssure: Differential Symbolic Testing for LLM-Transpiled C-to-Rust Code

Yubo Bai, Tapti Palit

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments 13 pages to appear in Proceedings of ASE 2025

Can an LLM Induce a Graph? Investigating Memory Drift and Context Length

Raquib Bin Yousuf, Aadyant Khatri, Shengzhe Xu, Mandar Sharma, Naren Ramakrishnan

机构 * Department of Computer Science, Virginia Tech, Alexandria, VA（计算机科学系，弗吉尼亚理工大学，亚历山大，VA） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 2025 IEEE International Conference on Knowledge Graph (ICKG)

KubeIntellect: A Modular LLM-Orchestrated Agent Framework for End-to-End Kubernetes Management

Mohsen Seyedkazemi Ardebili, Andrea Bartolini

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Strata: Hierarchical Context Caching for Long Context Language Model Serving

Zhiqiang Xie, Ziyi Xu, Mark Zhao, Yuwei An, Vikram Sharma Mailthody, Scott Mahlke, Michael Garland, Christos Kozyrakis

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)

Comments 13 pages, 14 figures, under peer review

Understanding Users' Privacy Perceptions Towards LLM's RAG-based Memory

Shuning Zhang, Rongjun Ma, Ying Ma, Shixuan Li, Yiqun Xu, Xin Yi, Hewu Li

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

DECA: A Near-Core LLM Decompression Accelerator Grounded on a 3D Roofline Model

Gerasimos Gerogiannis, Stijn Eyerman, Evangelos Georganas, Wim Heirman, Josep Torrellas

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)