语言大模型 / LLM

ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training

ZeroTuning: 解锁初始标记的潜力以无需训练的方式提升大语言模型

Feijiang Han, Xiaodong Yu, Jianheng Tang, Delip Rao, Weihua Du, Lyle Ungar

机构 * University of Pennsylvania（宾夕法尼亚大学） ； AMD（AMD公司） ； Peking University（北京大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 ZeroTuning通过仅调整初始标记的注意力实现无需训练的大语言模型性能提升，适用于多种任务和场景。

Comments ICLR 2026 Accepted Version: proofread, introduction rewritten, additional experiments and appendix material added

Exploring Synaptic Resonance in Large Language Models: A Novel Approach to Contextual Memory Integration

George Applegarth, Christian Weatherstone, Maximilian Hollingsworth, Henry Middlebrook, Marcus Irvin

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models

David Castillo-Bolado, Joseph Davidson, Finlay Gray, Marek Rosa

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI

Comments Accepted as a poster at NeurIPS D&B Track 2024

Test-Time Training on Nearest Neighbors for Large Language Models

Moritz Hardt, Yu Sun

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.LG

Comments ICLR final version

SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks

SoK：面向意图的多轮大语言模型越狱系统化研究

Siyuan Li, Aodu Wulianghai, Zehao Liu, Xi Lin, Qinghua Mao, Haoyu Li, Xiang Chen, Siyuan Liang, Jun Wu, Jianhua Li, Dacheng Tao

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究提出面向意图的多轮LLM越狱分类法，发现攻击有效性取决于意图组织精细度，推动检测范围升级，表明轮级安全机制不足，需对应层级评估协议。

Selective KV Cache Protection for Noise-Resilient LLM Inference on Analog Compute-In-Memory Systems

面向模拟存算一体系统上抗噪声大语言模型推理的选择性键值缓存保护

Yuannuo Feng, Wenyong Zhou, Yuang Ma, Yizhe Chen, Wenshuai Yao, Yuxin Xie, Ngai Wong, Wang Kang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 针对模拟存算一体系统上LLM推理的KV缓存易受硬件噪声影响的问题，本文首次开展相关系统研究，提出分层token保护策略，大幅降低噪声下的困惑度并提升编程行利用率。

Insecure Coding Preferences in Long-Term Memory: Security Risks for LLM-based Code Generation

长期记忆中的不安全编码偏好：基于大语言模型的代码生成的安全风险

Yuchen Chen, Wei Cheng, Yuan Xiao, Zhou Yang, Weifeng Sun, Chunrong Fang, Xiang Chen, Baowen Xu, David Lo, Zhenyu Chen

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 研究基于LLM的代码生成中，长期记忆里不安全编码偏好带来的安全风险，通过评估四种LLM在五种编程语言上的表现，发现其显著增加生成漏洞代码风险及存在警告差距，还评估了三种缓解策略并给出改进安全性的建议。

Comments Accepted to the 35th ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA 2026)

LogicHunter: Testing LLM Agent Frameworks with an Agentic Oracle

LogicHunter：使用智能预言机测试大语言模型代理框架

Minghui Long, Yanjie Zhao, Haoyu Wang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对大语言模型代理框架测试不足问题，提出LogicHunter模糊测试框架。通过规范驱动生成有效极端输入，引入智能预言机解决预言机歧义。在三个框架上评估，发现众多未知错误，智能预言机精度高，远超基线方法。

MOA: A Profiling-Guided LLM Framework for Memory-Optimization Automation at Codebase Scale

MOA：一种基于剖析引导的LLM框架，用于代码库规模的内存优化自动化

Jiaxi Liang, Yuanxiang Shi, Zezhou Yang, Chenxiong Qian

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出MOA框架，通过三个智能体自动检测和修复大规模代码库中的内存低效问题，在OpenHarmony上识别13种反模式，生成769个补丁，平均堆减少42.2%。

When Latent Agents Lie: KV-Cache Integrity in Multi-Agent LLM Collaboration

当潜在智能体说谎时：多智能体LLM协作中的KV缓存完整性

Luís Brito, Carlos Baquero

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 研究多智能体问答中KV缓存传递的安全问题，发现恶意智能体可通过篡改隐藏状态破坏协作，提出HMAC-SHA256清单保护传输完整性。

Comments 16 pages, 2 figures, 3 tables

PACMS: Submodular Context Selection as a Pluggable Engine for LLM Agents

PACMS: 作为LLM代理可插拔引擎的子模上下文选择

Manu Ghulyani, Arunabh Singh, Karan Bharadwaj, Ankit Nath, Suranjan Goswami

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 提出PACMS，一种基于子模函数最大化的上下文选择方法，在提示组装时按相关性从会话、记忆和工具输出中挑选内容，替代截断机制，提升长对话中的信息保持能力。

Regression Language Models for Code

代码的回归语言模型

Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； Google DeepMind（谷歌DeepMind） ； Google Cloud（谷歌云） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出回归语言模型（RLM），利用冻结的大语言模型编码器直接从文本预测代码执行结果（如内存占用、延迟、神经网络精度等），在多个任务上达到高相关度。

Comments Published in International Conference on Machine Learning (ICML) 2026

LLM-Based Digital Twin Intelligence for Application-Aware Network Selection in 6G Heterogeneous Wireless Networks

基于大语言模型的数字孪生智能：面向6G异构无线网络中应用感知的网络选择

Brahim Mefgouda, Anis Bara, Lina Bariah, Hang Zou, Yuzhi Yang, Merouane Debbah

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种基于大语言模型的数字孪生框架，通过融合物理传播、分组级QoS仿真和决策记忆，实现候选集演化下的稳定应用感知RAT选择，显著降低秩反转和切换次数。

Comments Submitted to an IEEE venue

RePo: Language Models with Context Re-Positioning

RePo：具有上下文重定位的语言模型

Huayang Li, Tianyu Zhao, Deng Cai, Richard Sproat

机构 * University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出RePo机制，通过可微分模块重新分配token位置以减轻注意力层负担，在噪声上下文、结构化数据和长上下文任务上持续提升性能。

Comments Accepted to ICML 2026

Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models

内存高效的循环变换器：在循环语言模型中解耦计算与内存

Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, Jordi Ros-Giralt, Arash Behboodi, Fabio Valerio Massoli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种内存高效的循环变换器（MELT），通过解耦推理深度与内存消耗，实现了常数内存的迭代推理，同时保持了LoopLM的性能，仅需轻量级的后训练过程。

Comments 22 pages, 5 figures, 11 tables

LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation

LightTransfer: 你的长上下文LLM实际上是一个具有轻松适应能力的混合模型

Xuan Zhang, Fengzhuo Zhang, Cunxiao Du, Chao Du, Tianyu Pang, Wei Gao, Min Lin

机构 * Singapore Management University（新加坡国立大学） ； National University of Singapore（新加坡国立大学） ； Sea AI Lab, Singapore（新加坡海智实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LightTransfer方法，通过将LLaMA等模型转换为混合架构，实现更高效的生成，实验表明在长上下文理解任务中，即使有半数层被识别为懒层，也能在性能损失小于1.5%的情况下提升2.17倍的吞吐量，并在数学基准AIME24上达到53.3%的分数。

Comments Accepted by TMLR 2025

Beyond Quacking: Deep Integration of Language Models and RAG into DuckDB

超越鸭子叫：将语言模型和RAG深度整合到DuckDB中

Anas Dorbani, Sunny Yasser, Jimmy Lin, Amine Mhedhbi

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文提出FlockMTL，通过整合语言模型和RAG技术，简化了知识密集型分析应用的开发，采用模型驱动的函数和SQL抽象优化实现效率。

Journal ref Proc. VLDB Endow. (PVLDB), Vol. 18, No. 12, pp. 5415-5418 (2025)

MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection

MemoPhishAgent: 基于记忆的多模态大语言模型代理用于钓鱼URL检测

Xuan Chen, Hao Liu, Tao Yuan, Mehran Kafai, Piotr Habas, Xiangyu Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出MemoPhishAgent，通过整合多模态推理与记忆机制，提升钓鱼URL检测性能，实验显示其在召回率上优于现有方法，并在真实场景中实现高召回率。

Comments ACL 2026 Industry Track Camera Ready

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models

代理情境工程：为自我改进语言模型演化情境

Qizheng Zhang, Changran Hu, Shubhangi Upasani, Boyuan Ma, Fenglu Hong, Vamsidhar Kamanuru, Jay Rainton, Chen Wu, Mengmeng Ji, Hanchen Li, Urmish Thakker, James Zou, Kunle Olukotun

机构 * Stanford University（斯坦福大学） ； SambaNova Systems, Inc.（SambaNova Systems公司） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ACE框架，通过生成、反思和整理的模块化过程，使情境持续进化，提升语言模型在代理和领域推理中的性能，减少适应延迟和成本。

Comments ICLR 2026; 32 pages

UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models

UltraEdit: 无训练、无主题、无内存的语言模型终身编辑

Xiaojie Gu, Ziying Huang, Jia-Chen Gu, Kai Zhang

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 UltraEdit通过无训练、无主题、无内存的方法实现高效语言模型终身编辑，速度快7倍且内存占用低4倍，支持大规模编辑任务。

Comments TMLR 2026

When Refusals Fail: Unstable Safety Mechanisms in Long-Context LLM Agents

当拒绝失效时：长上下文LLM代理中的不稳定安全机制

Tsimur Hadeliya, Mohammad Ali Jauhar, Nidhi Sakpal, Diogo Cruz

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现长上下文LLM代理在性能和拒绝率上存在不稳定安全问题，揭示了评估长多步骤任务代理安全性的挑战。

Comments 12 pages, 11 figures. Accepted at AAAI 2026 TrustAgent Workshop

From Capabilities to Performance: Evaluating Key Functional Properties of LLM Architectures in Penetration Testing

Lanxiao Huang, Daksh Dave, Tyler Cody, Peter Beling, Ming Jin

机构 * Bradley Department of Electrical and Computer Engineering, Virginia Tech（弗吉尼亚理工大学电气与计算机工程系布雷拉德部门） ； National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, pages 15890 to 15916, Suzhou, China, November 2025

AcademicEval: Live Long-Context LLM Benchmark

Haozhen Zhang, Tao Feng, Pengrui Han, Jiaxuan You

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by TMLR. Code is available at https://github.com/ulab-uiuc/AcademicEval

KScope: A Framework for Characterizing the Knowledge Status of Language Models

Yuxin Xiao, Shan Chen, Jack Gallifant, Danielle Bitterman, Thomas Hartvigsen, Marzyeh Ghassemi

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by NeurIPS 2025

Scaling LLM Multi-turn RL with End-to-end Summarization-based Context Management

Miao Lu, Weiwei Sun, Weihua Du, Zhan Ling, Xuesong Yao, Kang Liu, Jiecao Chen

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Integrating Rules and Semantics for LLM-Based C-to-Rust Translation

Feng Luo, Kexing Ji, Cuiyun Gao, Shuzheng Gao, Jia Feng, Kui Liu, Xin Xia, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted in ICSME 25 Industry Track

Unraveling Token Prediction Refinement and Identifying Essential Layers in Language Models

Jaturong Kongmanee

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

VulBinLLM: LLM-powered Vulnerability Detection for Stripped Binaries

Nasir Hussain, Haohan Chen, Chanh Tran, Philip Huang, Zhuohao Li, Pravir Chugh, William Chen, Ashish Kundu, Yuan Tian

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

One STEP at a time: Language Agents are Stepwise Planners

Minh Nguyen, Ehsan Shareghi

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention

Lijie Yang, Zhihao Zhang, Zhuofu Chen, Zikun Li, Zhihao Jia

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG