arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-21 至 2026-04-21 共收录 803 信号源:cs.CL, cs.AI, cs.LG

1. 后训练与偏好优化 27 篇

2604.07484 2026-04-21 cs.AI cs.CL cs.LG 75%

ConsistRM: Improving Generative Reward Models via Consistency-Aware Self-Training

ConsistRM:通过一致性感知自训练改进生成奖励模型

Yu Liang, Liangxin Liu, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.(百度公司)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ConsistRM框架,通过一致性感知答案奖励和批评奖励提升生成奖励模型的稳定性与一致性,实验表明其在五个基准数据集上优于传统强化微调方法。

Comments Published as a Main conference paper at the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17207 2026-04-21 cs.LG cs.AI cs.CC cs.CL 75%

Demystifying the unreasonable effectiveness of online alignment methods

解开在线对齐方法无理有效性的谜团

Enoch Hyunwook Kang

机构 * Foster School of Business University of Washington(华盛顿大学福斯特商学院)

专题命中 后训练与偏好优化 :RLHF(abstract,abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出传统温度零后悔准则下,贪心在线对齐方法能实现常数累积后悔,揭示其实际高效性背后的理论原因。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17769 2026-04-21 cs.CL cs.AI 73%

Reverse Constitutional AI: A Framework for Controllable Toxic Data Generation via Probability-Clamped RLAIF

反宪法AI:通过概率限制RLAIF实现可控有毒数据生成的框架

Yuan Fang, Yiming Luo, Aimin Zhou, Fei Tan

机构 * East China Normal University(东华大学) Shanghai Innovation Institute(上海创新研究院)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出反宪法AI框架,通过概率限制RLAIF生成可控的高质有毒数据,提升安全评估。

Comments Accepted to Findings of ACL 2026. 10 pages, 6 figures. Code and data available at https://github.com/ZeroLoss-Lab/R-CAI

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15625 2026-04-21 cs.LG cs.AI 73%

Robust Tool Use via Fission-GRPO: Learning to Recover from Execution Errors

通过Fission-GRPO实现鲁棒的工具使用:学习从执行错误中恢复

Zhiwei Zhang, Fei Zhao, Rui Wang, Zezhong Wang, Bin Liang, Jiakang Wang, Yao Hu, Shaosheng Cao, Kam-Fai Wong

机构 * The Chinese University of Hong Kong(香港中文大学) Xiaohongshu Inc.(小红书公司) MoE Key Laboratory of High Confidence Software Technologies(可信软件技术国家重点实验室)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出Fission-GRPO框架,通过将执行错误转化为在线纠正监督,提升模型在多轮执行中的错误恢复能力,实验显示其在BFCL v4 Multi-Turn上提升了Qwen3-8B的错误恢复率和整体准确率。

Comments 9 pages, 4 figures, 4 tables. Accepted to ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18091 2026-04-21 cs.CL cs.CV 70%

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成:跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University(南洋理工大学) Tongji University(同济大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出一种多模态幽默生成任务,通过文化意识标题生成模型在不同文化背景下生成幽默标题,改进了文化背景下的图像相关性、语境适配性和幽默质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18003 2026-04-21 cs.AI 70%

SELF-EMO: Emotional Self-Evolution from Recognition to Consistent Expression

SELF-EMO:从识别到一致表达的情感自我进化

Shaowei Zhang, Faqiang Qian, Yan Chen, Ziliang Wang, Kang An, Yong Dai, Mengya Gao, Yichao Wu

机构 * SenseTime Tsinghua University(清华大学) Shanghai Jiao Tong University(上海交通大学) X-Humanoid

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 SELF-EMO通过引入情感理解和表达辅助任务,结合角色自博弈机制和数据飞轮机制,实现情感识别与表达的自我进化,实验表明其在多个数据集上均取得最优性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.07160 2026-04-21 cs.CL 70%

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

GeometryZero:通过群体对比策略优化推进几何求解

Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) Zhejiang University(浙江大学) Shanghai AI Laboratory(上海人工智能实验室) Nanyang Technological University(南洋理工大学)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出GeometryZero,通过群体对比策略优化训练小型模型,实现高效的几何推理,实验表明其在Geometry3K和MathVista上优于RL基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17504 2026-04-21 cs.CV cs.AI 70%

RS-HyRe-R1: A Hybrid Reward Mechanism to Overcome Perceptual Inertia for Remote Sensing Images Understanding

RS-HyRe-R1: 一种混合奖励机制以克服遥感图像理解中的感知惯性

Gaozhi Zhou, Hu He, Peng Shen, Jipeng Zhang, Liujue Zhang, Linrui Xu, Zeyuan Wang, Ziyu Li, Xuezhi Cui, Wang Guo, Haifeng Li

机构 * School of Mechanical and Electrical Engineering, Central South University(中南大学机械与电气工程学院) School of Geosciences and Info-Physics, Central South University(中南大学地球科学与信息物理学院)

专题命中 后训练与偏好优化 :language model(abstract);post-training(abstract);分类 cs.AI

AI总结 本文提出RS-HyRe-R1混合奖励机制,旨在克服遥感图像理解中的感知惯性问题,通过引入空间推理激活奖励、感知正确性奖励和视觉-语义路径演化奖励,提升模型的全面视觉证据挖掘能力,实验显示其在多个任务上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.10741 2026-04-21 cs.CL cs.AI cs.IR 62%

Deep-Reporter: Deep Research for Grounded Multimodal Long-Form Generation

Deep-Reporter:基于多模态长形式生成的深度研究

Fangda Ye, Zhifei Xie, Yuxin Hu, Yihang Yin, Shurui Huang, Shikai Dong, Jianzhu Bao, Shuicheng Yan

机构 * National University of Singapore(新加坡国立大学) Nanyang Technological University(南洋理工大学) University of Edinburgh(爱丁堡大学) Beijing Institute of Technology(北京理工大学)

专题命中 后训练与偏好优化 :post-training(abstract);分类 cs.CL、cs.AI

AI总结 本文提出Deep-Reporter框架,通过多模态搜索、检查清单引导合成和上下文管理,解决多模态长形式生成中的整合与选择难题,通过8K高质量数据集和M2LongBench测试集验证其有效性。

Comments 41 pages, 6 figures, 8 tables. Code available at https://github.com/fangda-ye/Deep-Report. v2: corrected typos and updated experimental results

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16890 2026-04-21 cs.AI 57%

Step-GRPO: Internalizing Dynamic Early Exit for Efficient Reasoning

Step-GRPO:内化动态早期退出以实现高效推理

Benteng Chen, Weida Wang, Shufei Zhang, Mingbao Lin, Min Zhang

机构 * East China Normal University(东华大学) Shanghai AI Laboratory(上海人工智能实验室) Fudan University(复旦大学) Rakuten Singapore(乐天新加坡)

专题命中 后训练与偏好优化 :post-training(abstract);分类 cs.AI

AI总结 Step-GRPO通过内化动态早期退出机制,优化推理过程,提升效率与准确性,在不同模型规模上实现更优的准确率与效率平衡。

Comments This paper has been accepted for publication at the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2409.14585 2026-04-21 math.NA cs.NA math.PR stat.CO stat.ML 50%

A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

基于福克-平面方程和深度分裂的贝叶斯滤波问题收敛方案

Kasper Bågmark, Adam Andersson, Stig Larsson, Filip Rydin

专题命中 后训练与偏好优化 :post-training(abstract)

AI总结 本文提出了一种近似非线性滤波密度的数值方案,并在理论和数值例子中建立了其收敛速率。通过深度分裂方案近似福克-平面方程,结合贝叶斯公式进行精确更新,实现在线滤波算法。采用基于采样的费曼-卡茨方法以缓解维度灾难。

Comments 22 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 长上下文与记忆 47 篇

2506.06485 2026-04-21 cs.CL cs.AI 92%

Task Matters: Knowledge Requirements Shape LLM Responses to Context-Memory Conflict

任务相关性:知识需求影响LLM在上下文记忆冲突中的响应

Kaiser Sun, Fan Bai, Mark Dredze

机构 * Center for Language and Speech Processing, Data Science and AI Institute(语言与语音处理中心,数据科学与人工智能研究所)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究探讨了任务类型如何影响LLM在上下文与记忆冲突中的表现,发现任务对知识的依赖和冲突合理性共同影响性能,提出任务感知方法以平衡上下文与记忆。

Comments ACL2026 Camera Ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17852 2026-04-21 cs.SD 92%

LLM-Codec: Neural Audio Codec Meets Language Model Objectives

LLM-Codec:神经音频编解码器与语言模型目标的结合

Ho-Lam Chung, Yiming Chen, Hung-yi Lee

机构 * Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通信工程研究所) NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心) ASUS Intelligent Cloud Services(ASUS智能云服务)

专题命中 长上下文与记忆 :LLM(title,title_cn);language model(title,abstract)

AI总结 本文提出LLM-Codec,通过引入未来token预测和语义对齐,提升音频编解码器与语言模型的协同性能,实验表明在语音连贯性和语音Mel距离上均有显著提升。

Comments ACL2026 Finding

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15421 2026-04-21 cs.CL cs.AI 91%

CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

CLAG:基于代理驱动聚类的自适应内存组织方法用于小型语言模型代理

Taeyun Roh, Wonjune Jang, Junha Jung, Jaewoo Kang

机构 * Korea University(韩国大学) Myongji University(明知大学) AIGEN Sciences(AIGEN公司)

专题命中 长上下文与记忆 :language model(title,abstract);small language model(title,abstract);SLM(abstract,abstract_cn);large language model(abstract)

AI总结 CLAG通过代理驱动聚类实现小型语言模型代理的自适应内存组织,通过语义聚类减少跨主题干扰并提升内存密度,实验表明其在问答任务中能提高回答质量和鲁棒性。

Comments Findings of the ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.19237 2026-04-21 cs.AI cs.RO 90%

Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots

多模态大语言模型驱动机器人中的躯体自我识别

Iñaki Dellibarda Varela, Pablo Romero-Sorozabal, Diego Torricelli, Gabriel Delgado-Oleas, Jose Ignacio Serrano, Maria Dolores del Castillo Sobrino, Eduardo Rocon, Manuel Cebrian

机构 * Center for Automation and Robotics(自动化与机器人中心) University of Azuay(阿祖亚大学)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.AI

AI总结 本文研究多模态大语言模型通过躯体运动经验发展自我识别能力,展示机器人在环境感知、自我识别和预测意识方面的表现,揭示感觉整合对最小自我的影响及记忆协调机制。

Comments 16 pages, 3 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.21471 2026-04-21 cs.CL 90%

Scaling External Knowledge Input Beyond Context Windows of LLMs via Multi-Agent Collaboration

通过多智能体协作扩展LLM上下文窗口之外的知识输入

Zijun Liu, Zhennan Wan, Peng Li, Ming Yan, Fei Huang, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国) Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China(人工智能产业研究院(AIR),清华大学,北京,中国) Institute of Intelligent Computing, Alibaba Group(智能计算研究院,阿里巴巴集团)

专题命中 长上下文与记忆 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文提出ExtAgents框架,通过多智能体协作提升LLM在不延长上下文窗口的情况下整合外部知识的能力,实验证明其在多跳问答和长文本生成任务中优于现有方法。

Comments Accepted to ACL 2026. 31 pages, 10 figures. Code and data are available at https://github.com/THUNLP-MT/ExtAgents

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17111 2026-04-21 cs.DC cs.AI 90%

HiveMind: OS-Inspired Scheduling for Concurrent LLM Agent Workloads

HiveMind: 为并发LLM代理工作负载提供操作系统启发的调度

Justice Owusu Agyemang, Jerry John Kponyo, Obed Kwasi Somuah, Elliot Amponsah, Godfred Manu Addo Boakye, Kwame Opuni-Boachie Obour Agyekum

机构 * Sperix Labs(Sperix实验室) VIA Cybersecurity Lab(VIA网络安全实验室) KNUST(科罗纳大学) Quantum and Assistive Technologies Lab(量子与辅助技术实验室)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 HiveMind通过引入五个操作系统启发的调度原语,解决并发LLM代理在共享API端点时的资源竞争问题,显著降低失败率并减少浪费计算。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16839 2026-04-21 cs.CL 90%

HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents

HeLa-Mem:基于Hebb学习和联想记忆的LLM代理

Jinchang Zhu, Jindong Li, Cheng Zhang, Jiahong Liu, Menglin Yang

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Jilin University(吉林大学) The Chinese University of Hong Kong(香港中文大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 HeLa-Mem通过生物启发的动态图模型,结合联想学习与语义存储,提升LLM在长时记忆中的表现,实验显示在四个问题类别上效果更优且使用更少上下文令牌。

Comments Accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.01379 2026-04-21 cs.SE 89%

Multi-LLM Orchestration for High-Quality Code Generation: Exploiting Complementary Model Strengths

多LLM协同生成高质量代码:利用互补模型优势

Huashan Chen, Zhenyu Qi, Haotang Li, Hong Chen, Jinfu Chen, Kebin Peng, In Kee Kim, Kyu Hyung Lee, Sen He, Weiyi Shang

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 本文提出PerfOrch系统,通过分阶段、分类别的多模型协作提升代码生成质量,利用Memory模块选择最适合的模型,实现高准确率和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17535 2026-04-21 cs.CL cs.AI 89%

OPSDL: On-Policy Self-Distillation for Long-Context Language Models

OPSDL:针对长上下文语言模型的在线自蒸馏

Xinsen Zhang, Zhenkai Ding, Tianjun Pan, Run Yang, Chun Kang, Xue Xiong, Jingnan Gu

机构 * Baidu Inc(百度公司)

专题命中 长上下文与记忆 :language model(title,abstract);SFT(abstract,abstract_cn);large language model(abstract);post-training(abstract)

AI总结 OPSDL通过在线自蒸馏方法提升长上下文能力,利用模型自身短上下文能力作为自教师,通过点-wise KL散度提供每token监督信号,有效减少幻觉并提升样本效率,优于传统后训练方法。

Comments 9 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16752 2026-04-21 cs.AI 89%

Don't Start What You Can't Finish: A Counterfactual Audit of Support-State Triage in LLM Agents

不要开始无法完成的任务:对LLM代理支持状态分拣的反事实审计

Eren Unlu

机构 * Globeholder Paris, France(巴黎 Globeholder 机构,法国)

专题命中 长上下文与记忆 :LLM(title,title_cn);prompting(abstract);分类 cs.AI

AI总结 本文通过反事实审计框架评估LLM代理在任务分拣中的能力,发现默认执行过度承诺非完整任务,而通过特定提示条件可显著提升分拣准确性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.03938 2026-04-21 cs.LG cs.AI cs.CL 88%

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

FOREVER: 基于遗忘曲线的记忆回放用于语言模型连续学习

Yujie Feng, Hao Wang, Jian Li, Xu Chu, Zhaolu Kang, Yiran Liu, Yasha Wang, Philip S. Yu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University(香港理工大学) ShineMo Ltd., China(中国 ShineMo 公司) Solar System of OVB, Tencent, China(腾讯 OVB 太阳系中国) Peking University(北京大学) University College London(伦敦大学学院) University of Illinois Chicago(伊利诺伊大学芝加哥分校)

专题命中 长上下文与记忆 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 FOREVER通过引入遗忘曲线概念,提出了一种基于模型自身时间的连续学习框架,有效缓解了语言模型在持续学习中的灾难性遗忘问题。

Comments ACL 2026 Camera-ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.02757 2026-04-21 cs.LG math.OC stat.ML 88%

ConMeZO: Adaptive Descent-Direction Sampling for Gradient-Free Finetuning of Large Language Models

ConMeZO:适应性下降方向采样用于大语言模型的梯度自由微调

Lejs Deen Behric, Liang Zhang, Bingcong Li, Kiran Koshy Thekumparampil

机构 * Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系) Amazon AGI Labs(亚马逊人工智能实验室)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 ConMeZO通过适应性方向采样加速大语言模型微调的收敛速度,保留低内存足迹,比MeZO快2倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.17377 2026-04-21 cs.CL 88%

AnchorMem: Anchored Facts with Associative Contexts for Building Memory in Large Language Models

AnchorMem: 基于关联上下文的锚定事实用于构建大语言模型的记忆

Zhanyu Shen, Sijie Cheng, Zhicheng Guo, Weiqin Wang, Yile Wang, Hui Huang

机构 * College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院) Tsinghua University(清华大学)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 本文提出AnchorMem,通过锚定事实与关联上下文构建大语言模型的记忆系统,解决传统方法依赖总结导致信息丢失的问题,实验表明其在LoCoMo基准上表现优异。

Comments ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16734 2026-04-21 cs.CV cs.AI 88%

Reducing Peak Memory Usage for Modern Multimodal Large Language Model Pipelines

降低现代多模态大语言模型流水线的峰值内存使用

Junwan Kim, Hyunkyung Bae

机构 * New York University(纽约大学)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出一种顺序输入压缩机制,在预填充阶段通过结构感知的键值缓存压缩,降低多模态大语言模型的峰值内存使用,同时保持生成性能。

Comments ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.13684 2026-04-21 cs.CL cs.AI 88%

HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference

HeteroCache:一种用于长上下文LLM推理的异构KV缓存压缩动态检索方法

Zhiyuan Shi, Qibo Qiu, Feng Xue, Zhonglin Jiang, Li Yu, Jian Jiang, Xiaofei He, Wenxiao Wang

机构 * School of Software Technology, Zhejiang University(浙江大学软件学院) China Mobile (Zhejiang) Research & Innovation Institute(中国移动(浙江)研究院) State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD与CG国家重点实验室) Geely Automobile Research Institute (Ningbo) Co., Ltd.(吉利汽车研究院(宁波)有限公司) FABU Inc.(FABU公司)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 本文提出HeteroCache,通过动态检索方法解决KV缓存压缩问题,利用头部异质性和空间冗余性,实现高效缓存分配和存储机制,提升长上下文推理性能。

Comments Accepted to ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16736 2026-04-21 cs.AI 87%

When Agents Go Quiet: Output Generation Capacity and Format-Cost Separation for LLM Document Synthesis

当代理变得沉默:LLM文档合成中的输出生成能力与格式-成本分离

Justice Owusu Agyemang, Michael Agyare, Miriam Kobbinah, Nathaniel Agbugblah, Prosper Addo

机构 * Sperix Labs(Sperix实验室) VIA Cybersecurity Lab, KNUST(VIA网络安全实验室,科诺斯大学) GCTU, Ghana(加纳格茨大学) NCA, Ghana(加纳国家计算机学院)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 本文提出OGC衡量输出生成能力,证明格式-成本分离定理,并提出自适应策略选择框架,通过实验验证理论,减少生成token并消除输出停滞问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11182 2026-04-21 cs.CL 86%

MetaMem: Evolving Meta-Memory for Knowledge Utilization through Self-Reflective Symbolic Optimization

MetaMem: 通过自反思符号优化实现元记忆的进化以促进知识利用

Haidong Xin, Xinze Li, Zhenghao Liu, Yukun Yan, Shuo Wang, Cheng Yang, Yu Gu, Ge Yu, Maosong Sun

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院) Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系) School of Computer Science, Beijing University of Posts and Telecommunications, Beijing, China(北京邮电大学计算机学院)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出MetaMem框架,通过自反思符号优化增强记忆系统,帮助LLM更有效地利用记忆知识。实验表明,MetaMem在多个任务中显著优于基线模型,提升超过3.6%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.24647 2026-04-21 cs.LG stat.ML 86%

Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch

LLMs能否超越经典超参数优化算法?对autoresearch的研究

Fabio Ferreira, Lucca Wobbe, Arjun Krishnakumar, Frank Hutter, Arber Zela

机构 * ELLIS Institute Tübingen(图宾根ELLIS研究所) University of Freiburg(弗赖堡大学) Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院) Prior Labs(Prior实验室)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);language model(abstract);small language model(abstract);分类 cs.LG

AI总结 本文通过autoresearch平台比较经典HPO算法与LLM方法在优化小型语言模型超参数时的表现,发现经典方法在避免内存故障方面更优,而LLM在代码编辑能力上有所提升,但未完全超越经典方法,提出Centaur混合方法结合经典算法和LLM优势,取得最佳效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.03793 2026-04-21 cs.CL cs.CR 86%

AttnTrace: Contextual Attribution of Prompt Injection and Knowledge Corruption

AttnTrace: 基于提示注入和知识腐败的上下文归因

Yanting Wang, Runpeng Geng, Ying Chen, Jinyuan Jia

机构 * The Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出AttnTrace,一种基于LLM对提示生成的注意力权重的上下文追溯方法,通过增强效果和技术改进,提高了准确性和效率,并展示了其在检测长上下文中的提示注入应用。

Comments To appear in IEEE S&P 2026. The code is available at https://github.com/Wang-Yanting/AttnTrace. The demo is available at https://huggingface.co/spaces/SecureLLMSys/AttnTrace

详情

展开后加载摘要…

URL PDF HTML 收藏