语言大模型 / LLM

The Prompt Engineering Report Distilled: Quick Start Guide for Life Sciences

提示工程报告精简：生命科学领域的快速入门指南

Valentin Romanov, Steven A Niederer

机构 * National Heart & Lung Institute, Faculty of Medicine, Imperial College London（英国伦敦帝国学院医学院国家心脏和肺研究所） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文总结了生命科学领域中6种核心提示工程技巧，包括零样本、少样本、思考生成等，旨在提升LLM在文献总结、数据提取等任务中的效率与质量。

FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments

FAMA：面向交互工具使用环境的开源大语言模型失败意识元代理框架

Amir Saeidi, Venkatesh Mishra, Souradeep Mukhopadhyay, Gaowen Liu, Ali Payani, Jayanth Srinivasa, Chitta Baral

机构 * Arizona State University（亚利桑那州立大学） ； Cisco Research（思科研究） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FAMA框架通过分析基线代理的失败轨迹识别常见错误，并利用 orchestration 机制激活专门的代理来针对性解决失败问题，实验显示在开源LLM上性能提升达27%。

Comments Accepted to ACL 2026 Findings

GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

GraphPlanner: 多智能体LLM的图记忆增强代理路由

Tao Feng, Haozhen Zhang, Zijie Lei, Peixuan Han, Jiaxuan You

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 GraphPlanner通过图记忆增强代理路由方法，提升多智能体LLM在任务规划和多轮协作中的性能，实现更高的准确率和计算效率。

Journal ref ICLR 2026

MetaMem: Evolving Meta-Memory for Knowledge Utilization through Self-Reflective Symbolic Optimization

MetaMem: 通过自反思符号优化实现元记忆的进化以促进知识利用

Haidong Xin, Xinze Li, Zhenghao Liu, Yukun Yan, Shuo Wang, Cheng Yang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） ； School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China（北京邮电大学计算机学院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出MetaMem框架，通过自反思符号优化增强记忆系统，帮助LLM更有效地利用记忆知识。实验表明，MetaMem在多个任务中显著优于基线模型，提升超过3.6%。

Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch

LLMs能否超越经典超参数优化算法？对autoresearch的研究

Fabio Ferreira, Lucca Wobbe, Arjun Krishnakumar, Frank Hutter, Arber Zela

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； University of Freiburg（弗赖堡大学） ； Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Prior Labs（Prior实验室） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)；small language model(abstract)；分类 cs.LG

AI总结 本文通过autoresearch平台比较经典HPO算法与LLM方法在优化小型语言模型超参数时的表现，发现经典方法在避免内存故障方面更优，而LLM在代码编辑能力上有所提升，但未完全超越经典方法，提出Centaur混合方法结合经典算法和LLM优势，取得最佳效果。

AttnTrace: Contextual Attribution of Prompt Injection and Knowledge Corruption

AttnTrace: 基于提示注入和知识腐败的上下文归因

Yanting Wang, Runpeng Geng, Ying Chen, Jinyuan Jia

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出AttnTrace，一种基于LLM对提示生成的注意力权重的上下文追溯方法，通过增强效果和技术改进，提高了准确性和效率，并展示了其在检测长上下文中的提示注入应用。

Comments To appear in IEEE S&P 2026. The code is available at https://github.com/Wang-Yanting/AttnTrace. The demo is available at https://huggingface.co/spaces/SecureLLMSys/AttnTrace

Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems

Thought-Retriever: 不只是检索原始数据，为记忆增强型智能体检索思想

Tao Feng, Pengrui Han, Guanyu Lin, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Thought-Retriever，一种无需受上下文长度限制的算法，使LLM能基于任意长外部数据生成输出。通过利用历史查询生成的中间响应，构建长期记忆，提升回答能力。

Journal ref Transactions on Machine Learning Research (TMLR), 04/2026

Robust Adaptation of Foundation Models with Black-Box Visual Prompting

基于黑盒视觉提示的模型鲁棒适应

Changdae Oh, Gyeongdeok Seo, Geunyoung Jung, Zhi-Qi Cheng, Hosik Choi, Jiyoung Jung, Kyungwoo Song

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of Seoul（首尔市立大学） ； Yonsei University（延世大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：prompting(title,abstract)；foundation model(title)；分类 cs.LG

AI总结 本文提出BlackVIP方法，通过协调器和SPSA-GC组件实现无需模型参数的PTM适应，通过实验展示其在不同领域和任务中的鲁棒性，同时提供理论分析支持视觉提示方法的鲁棒性。

Comments Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 2026

CtrlRAG: Black-box Document Poisoning Attacks for Retrieval-Augmented Generation of Large Language Models

CtrlRAG：用于大型语言模型检索增强生成的黑盒文档污染攻击

Runqi Sui

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL

AI总结 CtrlRAG通过注入恶意文档实现对RAG系统的黑盒攻击，提升攻击成功率并提出动态防御策略以平衡安全与性能。

Memory-Efficient Large Language Models for Program Repair with Semantic-Guided Patch Generation

Thanh Le-Cong, Bach Le, Toby Murray

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.AI

Comments Accepted to ICSE 2026, Research Track

LoCoBench: A Benchmark for Long-Context Large Language Models in Complex Software Engineering

Jielin Qiu, Zuxin Liu, Zhiwei Liu, Rithesh Murthy, Jianguo Zhang, Haolin Chen, Shiyu Wang, Ming Zhu, Liangwei Yang, Juntao Tan, Zhepeng Cen, Cheng Qian, Shelby Heinecke, Weiran Yao, Silvio Savarese, Caiming Xiong, Huan Wang

机构 * Salesforce AI Research（Salesforce AI研究院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.AI

Comments 53 pages

Context-Preserving Tensorial Reconfiguration in Large Language Model Training

Larin Tonix, Morgana Baskerville, Nathaniel Stourton, Ophelia Tattershall

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Memory Access Characterization of Large Language Models in CPU Environment and its Potential Impacts

Spencer Banasik

机构 * Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

Comments 34 pages, 14 figures

Contextual Memory Reweaving in Large Language Models Using Layered Latent State Reconstruction

Frederick Dillon, Gregor Halvorsen, Simon Tattershall, Magnus Rowntree, Gareth Vanderpool

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model

Sumeth Yuenyong, Kobkrit Viriyayudhakorn, Apivadee Piyatumrong, Jillaphat Jaroenkantasima

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL

Comments 8 pages, 4 tables

FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism

Yujie Wang, Shiju Wang, Shenhan Zhu, Fangcheng Fu, Xinyi Liu, Xuefeng Xiao, Huixia Li, Jiashi Li, Faming Wu, Bin Cui

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

Evaluating Large Language Models in Vulnerability Detection Under Variable Context Windows

Jie Lin, David Mohaisen

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG

Comments 5 pages, 2 tables. Appeared in ICMLA 2024

Attribute or Abstain: Large Language Models as Long Document Assistants

Jan Buchmann, Xiao Liu, Iryna Gurevych

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2024. Code and data: https://github.com/UKPLab/arxiv2024-attribute-or-abstain

Levels of AI Agents: from Rules to Large Language Models

Yu Huang

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL

Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents

Evgenii Kortukov, Alexander Rubinstein, Elisa Nguyen, Seong Joon Oh

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.LG

Animate, or Inanimate, That is the Question for Large Language Models

Leonardo Ranaldi, Giulia Pucci, Fabio Massimo Zanzotto

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；prompting(abstract)；分类 cs.CL

Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising

神经形态扩散语言模型：通过稀疏性和块去噪解决计算和内存瓶颈

Dengyu Wu, Clement Ruah, Jiechen Chen, Bipin Rajendran, Osvaldo Simeone

机构 * King’s College London（伦敦国王学院） ； Institute for Intelligent Networked Systems (INSI), Northeastern University London（伦敦东北大学智能网络系统研究所） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对自回归大语言模型推理低效问题，提出神经形态掩码扩散语言模型，结合块扩散与脉冲神经形态计算，利用脉冲诱导稀疏性减少参数流量和计算，开发模型分析协同效应，实验表明该模型在能源效率和吞吐量上有显著提升。

Comments Accepted for presentation at 2026 IEEE Workshop on Signal Processing Systems (SiPS)

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

SyRuP：通过大语言模型解码中的奖励引导预测增强系统提示遵循

Seoyeon Kim, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究如何增强大语言模型对系统提示的遵循，提出SyRuP框架，通过训练交叉注意力奖励头产生令牌级遵循分数，推理时结合多种信号对候选重新排序，实验表明该方法能有效提升系统提示遵循度且开销适度。

Comments under review, 23 pages

CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents

CAMeR：用于大语言模型智能体中自适应记忆保留的关键词门控混合激活

Haowen Lai

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体记忆问题，提出CAMeR框架，结合关键词门控混合激活与自适应权重动态。通过CAMeR-Bench测试，表明其关键词门控效果好，能有效节省令牌并提高检索精度，证明混合符号-神经门控可实现自适应记忆保留。

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES：用于自我改进的语言模型推理的具有可学习选择的模块化指令内存

Ruilin Tong, Dong Gong

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对LLMs测试时推理问题，提出MILES框架，通过动态扩展内存及正确性优化的内存组合，利用模块化内存单元与可学习选择头实现粗到细检索机制，实验表明该框架在性能、效率及权衡上表现出色。

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions

通过增量多轮交互评估LLM代理的记忆能力

Yuanzhe Hu, Yu Wang, Julian McAuley

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MemoryAgentBench，通过多轮交互模拟记忆代理的信息积累过程，评估准确检索、测试时学习、长程理解与选择性遗忘四项核心能力。

Comments Y. Hu and Y. Wang contribute equally

ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning

ANNEAL：通过受控符号补丁学习适应大语言模型代理

Safayat Bin Hakim, Keyan Guo, Wenkai Tan, Alvaro Velasquez, Shouhuai Xu, Houbing Herbert Song

机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； University at Buffalo（布法罗大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） ； University of Colorado Colorado Springs（科罗拉多大学科罗拉多州立分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 ANNEAL通过受控符号补丁学习适应大语言模型代理，解决重复故障问题，其核心机制FDKA能定位责任操作符并生成类型补丁，实现持久结构修复，优于现有方法。

Comments Code Implementation: https://github.com/sbhakim/anneal-agents

Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

推导提示：一种基于逻辑的方法，用于提高检索增强生成

Ignacio Sastre, Guillermo Moncecchi, Aiala Rosá

机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算研究所，工程学院，乌拉圭共和国大学） 纠错

专题命中 长上下文与记忆 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出推导提示方法，通过系统应用预定义规则从初始假设推导结论，以提高检索增强生成中生成过程的可控性和准确性。

Journal ref Advances in Artificial Intelligence IBERAMIA 2024, LNCS 15277, pp. 412 423, Springer (2025)

The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

记忆诅咒：扩展回忆如何在LLM代理中侵蚀合作意图

Jiayuan Liu, Tianqin Li, Shiyi Du, Xin Luo, Haoxuan Zeng, Emanuel Tewolde, Tai Sing Lee, Tonghan Wang, Carl Kingsford, Vincent Conitzer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室） ； University of Michigan（密歇根大学） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 研究发现扩展回忆会系统性地削弱多代理社会困境中的合作意图，通过三种分析揭示记忆内容对合作的影响，证明记忆是影响多代理行为的主动因素。

Conversation Tree Architecture: A Structured Framework for Context-Aware Multi-Branch LLM Conversations

对话树架构：一种面向上下文感知多分支LLM对话的结构化框架

Pranav Hemanth, Sampriti Saha

机构 * Pandemonium Research（Pandemonium研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出对话树架构（CTA），通过层次化结构管理LLM对话，解决传统扁平结构导致的上下文污染问题，提供结构化对话上下文管理方法。

Comments 6 pages, 1 figure. Prototype available at https://the-conversation-tree.vercel.app/app