arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-05-22 至 2026-05-22 共收录 333 信号源:cs.CL, cs.AI, cs.LG

1. 后训练与偏好优化 20 篇

2605.20246 2026-05-22 cs.LG cs.AI 79%

GROW: Aligning GRPO with State-Action Modeling for Open-World VLM Agents

GROW: 将GRPO与状态-动作建模对齐以适用于开放世界VLM智能体

Xiongbin Wu, Zhihao Luo, Shanzhe Lei, Lechao Zhang, Xuhong Wang, Jie Yang, Zhonglong Zheng, Yuanjie Zheng, Xin Tan, Wei Liu

机构 * Shanghai Jiao Tong University(上海交通大学) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) East China Normal University(华东师范大学) Zhejiang Normal University(浙江师范大学) Shandong Normal University(山东省师范大学)

专题命中 后训练与偏好优化 :SFT(abstract,abstract_cn);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出GROW框架,通过将收集的轨迹分解为状态-动作样本,并在样本间计算优势,解决了标准GRPO在多轮RL中因需要完整轨迹导致上下文过长和噪声的问题,实验表明其在超过800个Minecraft任务中取得SOTA性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22632 2026-05-22 econ.GN q-fin.EC 78%

Position: The Pre/Post-Training Boundary Should Govern IP in Industry-Academia ML Collaborations

位置:预/后训练边界应主导产业学术ML合作中的知识产权

Dirk Bergemann, Soheil Ghili, Nitzan Mekel-Bobrov

专题命中 后训练与偏好优化 :post-training(title,abstract)

AI总结 本文提出PBOS合同模板,通过定义预训练和后训练成果的边界来解决产业学术ML合作中的知识产权问题,主张该模板应成为默认合同。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22537 2026-05-22 cs.LG 77%

F-TIS: Harnessing Diverse Models in Collaborative GRPO

F-TIS: 利用多样化模型进行协作GRPO

Nikolay Blagoev, Oğuzhan Ersoy, Wendelin Boehmer, Lydia Yiyu Chen

机构 * Gensyn University of Neuchatel(日内瓦大学内沙特尔分校) Gensyn(盖森) TU Delft(代尔夫特理工大学) University of Neuchatel(日内瓦大学内沙特尔分校)

专题命中 后训练与偏好优化 :LLM(abstract,abstract_cn);post-training(abstract);分类 cs.LG

AI总结 本文提出F-TIS方法,通过利用异构模型在协同GRPO训练中提高本地模型的学习效果,实现了高效的通信和一致的最终模型收敛,同时在某些情况下提升了模型在分布外任务上的泛化能力。

Comments Accepted to ICML 2026 Workshop Scalable Learning and Optimization for Efficient Multimodal AI Agents (SCALE)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22211 2026-05-22 cs.AI 77%

CLORE: Content-Level Optimization for Reasoning Efficiency

CLORE:面向推理效率的内容级优化

Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev

机构 * Carnegie Mellon University(卡内基梅隆大学) Northwestern University(西北大学) University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校) University of Pittsburgh(匹兹堡大学)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.AI

AI总结 本文提出CLORE框架,通过编辑正确在线轨迹来提升大语言模型的推理效率,通过外部增强模型删除冗余、不可读或无关内容,同时保留最终答案,并结合辅助参考-free DPO目标和标准策略梯度训练优化增强-原始对,实验表明CLORE在五个数学推理基准上提升了准确性和效率的平衡,并与GRPO、DAPO、Training Efficient和ThinkPrune兼容。

Comments 9 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21954 2026-05-22 cs.CV cs.AI 77%

MLLMs Know When Before Speaking: Revealing and Recovering Temporal Grounding via Attention Cues

MLLMs Know When Before Speaking: Revealing and Recovering Temporal Grounding via Attention Cues

Dazhao Du, Liao Duan, Jian Liu, Tao Han, Yujia Zhang, Eric Liu, Xi Chen, Song Guo

机构 * Hong Kong University of Science and Technology(香港理工大学) Xi’an Jiaotong University(西安交通大学) Tencent(腾讯)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.AI

AI总结 本文研究了多模态大语言模型(MLLMs)在视频时间定位中的感知与生成之间的差距,提出了一种推理阶段的读取-再生成框架,通过利用注意力线索来提高时间定位的准确性,从而在三个视频时间定位基准上提升了MiMo-VL-7B、Qwen3-VL-8B和TimeLens-8B的性能。

Comments Project Website: https://ddz16.github.io/mllmsknowwhen.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22413 2026-05-22 cs.CV 67%

From Recognition to Reasoning: Benchmarking and Enhancing MLLMs on Real-World Receipt Document Understanding

从识别到推理:在现实世界收据文档理解上对齐和增强MLLMs

Yandi Wang, Libin Zhan, Ziwei Huang, Tiancheng Luo, Yuxuan Jiang, Wang Dong, Leilei Gan, Jun Chen

机构 * Zhejiang University(浙江大学)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract)

AI总结 本文提出ReceiptBench基准,通过四个层次化子任务提升收据信息提取的结构一致性,并提出两阶段训练框架GRPO,通过强化学习信号提升模型性能,实验证明其在复杂推理任务上的优越性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17602 2026-05-22 cs.AI cs.CV cs.LG 62%

AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment

AutoRubric-T2I: 一种用于文本到图像对齐的鲁棒基于规则的奖励模型

Kuei-Chun Kao, Daixuan Huo, Yuanhao Ban, Cho-Jui Hsieh

机构 * University of California, Los Angeles(加州大学洛杉矶分校)

专题命中 后训练与偏好优化 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出AutoRubric-T2I,一种首个用于文本到图像生成的规则学习框架,通过自动合成和选择显式规则来指导视觉语言模型(VLM)法官。该方法通过合成偏好对的推理轨迹生成候选规则,并利用VLM法官在每种规则下对配对图像进行评分,产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则,从而在少量标注偏好数据下生成高质量、可解释的奖励信号,并在多个图像奖励基准测试中优于现有奖励模型基线。

Comments 27 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12623 2026-05-22 cs.CL cs.CV cs.LG 62%

DocAtlas: Multilingual Document Understanding Across 80+ Languages

DocAtlas: 跨80多种语言的多语言文档理解

Ahmed Heakl, Youssef Mohamed, Abdullah Sohail, Rania Elbadry, Ahmed Nassar, Peter W. J. Staar, Fahad Shahbaz Khan, Imran Razzak, Salman Khan

机构 * MBZUAI(穆罕默德·本·拉谢德人工智能研究所) IBM Research(IBM研究院)

专题命中 后训练与偏好优化 :preference optimization(abstract);分类 cs.CL、cs.LG

AI总结 本文提出DocAtlas框架,通过构建高保真的OCR数据集和基准测试,覆盖82种语言和9个评估任务,利用双重管道生成精确的结构注解,展示了直接偏好优化在多语言适应中的有效性,提升了领域内和领域外的准确率。

Comments Under submission

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22703 2026-05-22 cs.LG 57%

Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals

剪裁瓶颈:通过近边界信号的随机恢复稳定RLVR

Shuo Yang, Jinda Lu, Chiyu Ma, Kexin Huang, Haoming Meng, Qihui Zhang, Yuyang Liu, Bolin Ding, Guoyin Wang, Li Yuan, Jingren Zhou

机构 * Alibaba Group(阿里巴巴集团)

专题命中 后训练与偏好优化 :LLM(abstract);分类 cs.LG

AI总结 本文研究了强化学习可验证奖励(RLVR)中由于硬剪裁决策导致的训练不稳定问题,提出了一种名为近边界随机救援(NSR)的简单方法,通过随机保留略微超出边界范围的token来恢复丢失的信号,从而提升训练稳定性和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 长上下文与记忆 17 篇

2605.22176 2026-05-22 cs.AI 94%

LLM-Metrics: Measuring Research Impact Through Large Language Model Memory

LLM-Metrics: 通过大语言模型内存测量研究影响力

Si Shen, Wenhua Zhao, Danhao Zhu

机构 * School of Economics and Management(经济管理学院) College of Information Management(信息管理学院) Department of Computer Science and Engineering(计算机科学与工程系) Nanjing Agricultural University(南京农业大学) Nanjing University of Science and Technology(南京理工大学) Department of Criminal Science and Technology(犯罪科学与技术系) Jiangsu Police Institute(江苏警察学院)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出LLM-Metrics,一种基于大语言模型参数内存的研究影响力评估指标,通过设计多种选择题探针评估549篇2023-2024年计算机科学论文,发现高影响力论文在学术社区中获得更大曝光,从而在LLM训练数据中形成更强的参数记忆,与引用次数呈现显著相关性。

Comments 25pages, 5figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15774 2026-05-22 cs.CL 92%

MemEvoBench: Benchmarking Safety Risks from Memory Misevolution in LLM Agents

MemEvoBench: 评估LLM代理中内存误进化带来的安全风险

Weiwei Xie, Shaoxiong Guo, Fan Zhang, Tian Xia, Xue Yang, Lizhuang Ma, Junchi Yan, Qibing Ren

机构 * Shanghai Jiao Tong University(上海交通大学) East China Normal University(华东师范大学) Shandong University(山东大学) Duke University(杜克大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出MemEvoBench,首个评估LLM代理长期内存安全性的基准,针对对抗性内存注入、噪声工具输出和偏见反馈,通过7个领域36种风险类型的问题任务和20个Agent-SafetyBench环境改编的工作流任务,验证了内存进化对安全性的重大影响,指出静态提示防御不足,亟需加强LLM代理内存进化的安全性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.17596 2026-05-22 cs.AI 92%

NeuSymMS: A Hybrid Neuro-Symbolic Memory System for Persistent, Self-Curating LLM Agents

NeuSymMS:一种混合神经符号记忆系统,用于持久、自管理的LLM代理

Mujahid Sultan, Sri Thuraisamy, Daya Rajaratnam

机构 * iVedha Corporation(iVedha公司) MLSoft Inc.(MLSoft公司)

专题命中 长上下文与记忆 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 NeuSymMS通过混合神经符号架构,使LLM代理能够在多个会话中学习、记忆和推理用户信息,其核心方法是结合神经网络的事实提取和基于CLIPS的专家系统,主要贡献是提出了一个支持自管理记忆的双视野记忆模型。

Comments 7 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22502 2026-05-22 cs.AI cs.LG 90%

Compiling Agentic Workflows into LLM Weights: Near-Frontier Quality at Two Orders of Magnitude Less Cost

将代理工作流编译为LLM权重:在成本上减少两个数量级的情况下实现接近前沿质量

Simon Dennis, Rivaan Patil, Kevin Shabahang, Hao Guo

机构 * University of Melbourne(墨尔本大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI、cs.LG

AI总结 本文研究如何将代理工作流编译为LLM权重以提高效率,通过在旅行预订、Zoom支持和保险索赔等任务中验证,展示了编译方法在减少成本的同时保持高质量性能。

Comments 19 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21768 2026-05-22 cs.LG cs.MA 90%

Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents

Memory-R2: 长时间 horizon 记忆增强 LLM agent 的公平信用分配

Sikuan Yan, Ahmed Bahloul, Ercong Nie, Susanna Schwarzmann, Riccardo Trivisonno, Volker Tresp, Yunpu Ma

机构 * Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学) Munich Center for Machine Learning(慕尼黑机器学习中心) Huawei Heisenberg Research Center (Munich)(华为海森堡研究中心(慕尼黑)) Technical University of Munich(慕尼黑技术大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.LG

AI总结 本文提出 Memory-R2 框架,通过结合局部和全局组相对优化方法,解决长时间 horizon 记忆增强 LLM agent 在多会话环境中训练时由于记忆状态差异导致的信用分配不公平问题,同时联合优化记忆形成与记忆演化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21539 2026-05-22 cs.LG 88%

DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

DualOptim+: 联合与解耦优化器状态的桥梁以提升大语言模型中的机器反遗忘

Xuyang Zhong, Qizhang Li, Yiwen Guo, Chen Liu

机构 * Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系) Independent Researcher(独立研究者)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 本文提出DualOptim+,一种改进大语言模型中机器反遗忘的新优化框架,通过引入基础状态和delta状态,有效平衡遗忘与保留目标,同时提出8位量化变体以减少内存开销,实验表明其在多个任务中均表现出色。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22786 2026-05-22 cs.AI cs.ET cs.LG cs.MA 82%

LCGuard: Latent Communication Guard for Safe KV Sharing in Multi-Agent Systems

LCGuard: 多智能体系统中安全KV共享的潜在通信守护者

Sadia Asif, Mohammad Mohammadi Amiri, Momin Abbas, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy

机构 * Rensselaer Polytechnic Institute(伦斯勒理工学院) IBM Research(IBM研究院)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出LCGuard框架,通过在智能体间共享KV缓存前学习表示层面的转换,以防止敏感信息泄露,同时在多个模型家族和多智能体基准测试中验证了其在减少重建攻击成功率和保持任务性能方面的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22106 2026-05-22 cs.AI 79%

ArborKV: Structure-Aware KV Cache Management for Scaling Tree-based LLM Reasoning

ArborKV: 一种面向树状推理的KV缓存管理方法

Yeqiu Chen, Ziyan Liu, Zhenxin Huang, Runquan Gui, Hong Wang, Lei Liu

机构 * University of Science(科学大学) Huawei Technologies Co., Ltd.(华为技术有限公司)

专题命中 长上下文与记忆 :LLM(title,abstract);分类 cs.AI

AI总结 本文提出ArborKV,一种结构感知的KV缓存管理方法,通过轻量级值估计器和树状分配策略,实现纯token提取式淘汰与惰性再水合,从而在保持高精度的同时减少KV内存使用,使在固定硬件预算下能支持更大规模的树状推理搜索。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21642 2026-05-22 cs.CV 78%

Ablate-to-Validate: Are Vision-Language Models Really Using Continuous Thought Tokens?

Ablate-to-Validate: 视觉语言模型真的在使用连续思维令牌吗?

Tianyi Zhang, Mahtab Bigverdi, Ranjay Krishna

机构 * University of Washington(华盛顿大学)

专题命中 长上下文与记忆 :language model(title,abstract)

AI总结 本文提出了一种诊断原则Ablate-to-Validate,通过Token Replacement Test(TRT)测试视觉语言模型是否真正利用了连续令牌内容,发现模型性能提升可能并非源于令牌内容,而是令牌存在本身。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.10129 2026-05-22 cs.LG cs.AI 73%

CacheClip: Accelerating RAG with Effective KV Cache Reuse

CacheClip: 通过有效的KV缓存重用加速RAG

Bin Yang, Qiuyu Leng, Jun Zeng, Zhenhua Wu

机构 * Intel Corporation(英特尔公司)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 本文提出CacheClip框架,通过有效利用KV缓存重用,解决了RAG系统中TTFT瓶颈问题,同时保持高质量生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21997 2026-05-22 cs.AI cs.MA 70%

The Log is the Agent: Event-Sourced Reactive Graphs for Auditable, Forkable Agentic Systems

日志即代理:用于可审计、可分支代理系统的事件源反应图

Yohei Nakajima

专题命中 长上下文与记忆 :LLM(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出了一种基于事件源的反应图结构,通过将日志作为事实来源,实现了可审计、可分支的代理系统,提供了确定性回放、低成本分支和端到端溯源能力。

Comments 11 pages, 1 figure. Open-source Apache-2.0 implementation with reproducible quickstart demo, deterministic replay, fork-and-diff, and lineage tracing

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.03865 2026-05-22 cs.CL 70%

An Entity Linking Agent for Question Answering

用于问答任务的实体链接代理

Yajie Luo, Yihong Wu, Muzhi Li, Jia Ao Sun, Xinyu Wang, Liheng Ma, Yingxue Zhang, Jian-Yun Nie

机构 * The Chinese University of Hong Kong(香港中文大学) McGill University(麦吉尔大学) Mila - Quebec AI Institute(魁北克AI研究院) Huawei Noah’s Ark Lab(华为诺亚实验室)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出了一种基于大语言模型的实体链接代理,用于解决问答任务中短且模糊用户问题的实体链接问题,通过两个实验验证了其有效性。

Comments 12 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.12364 2026-05-22 cs.CR cs.OS 67%

Tyche: Composable Isolation as a Foundation to Manage Trust in the Cloud

Tyche:可组合隔离作为管理云中信任的基础

Adrien Ghosn, Charly Castes, Neelu S. Kalani, Yuchen Qian, Marios Kogias, Edouard Bugnion

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn)

AI总结 该研究提出Tyche系统,通过可组合的隔离抽象来管理云环境中不同组件之间的信任问题,核心方法是引入安全域(SD)作为统一的隔离抽象,主要贡献是提供了一种无需牺牲兼容性的可组合隔离方案,支持在不同平台上运行。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.21649 2026-05-22 cs.LG cs.CL 62%

EntmaxKV: Support-Aware Decoding for Entmax Attention

EntmaxKV: 基于支持的解码方法用于Entmax注意力

Gonçalo Duarte, Miguel Couceiro, Marcos V. Treviso

机构 * Instituto Superior Técnico, Universidade de Lisboa(里斯本大学理工学院) ELLIS Unit Lisbon(里斯本ELLIS单位) INESC-ID Instituto de Telecomunicações(电信研究所)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL、cs.LG

AI总结 本文提出EntmaxKV,一种基于支持的解码框架,利用熵最大注意力的稀疏性在KV页面加载前进行稀疏解码,通过查询感知的页面评分、支持感知的候选选择和稀疏熵最大注意力,减少概率质量丢失,提高长上下文语言模型的效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22791 2026-05-22 cs.AI 57%

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2:解耦擦除与写入的线性注意力

Ali Hatamizadeh, Yejin Choi, Jan Kautz

机构 * NVIDIA

专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI

AI总结 本文提出Gated DeltaNet-2,通过引入通道级擦除门和写入门,解耦了线性注意力中擦除与写入的控制,从而在语言模型、常识推理和检索任务中取得了最佳性能,特别是在长上下文检索任务中表现突出。

Comments Gated DeltaNet-2 technical report; code at https://github.com/NVlabs/GatedDeltaNet-2

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.23219 2026-05-22 cs.MA cs.AI 57%

MonoScale: Scaling Multi-Agent System with Monotonic Improvement

MonoScale: 通过单调改进扩展多智能体系统

Shuai Shao, Yixiang Liu, Bingwei Lu, Weinan Zhang

机构 * Shanghai Jiao Tong University, Shanghai, China(上海交通大学,上海,中国) Shanghai Innovation Institute, Shanghai, China(上海创新研究院,上海,中国)

专题命中 长上下文与记忆 :LLM(abstract);分类 cs.AI

AI总结 本文提出MonoScale框架,通过生成agent条件化熟悉任务、收集交互证据并将其转化为可审计的自然语言记忆,实现多智能体系统的单调性能提升,实验表明其在GAIA和Humanity's Last Exam任务中优于简单扩展和强路由固定池基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22014 2026-05-22 cs.DC 50%

LiveR: Fine-Grained Elasticity via Live Reconfiguration for Model Training

LiveR: 通过活体重新配置实现细粒度弹性

Haoyuan Liu, Kairui Zhou, Shuyao Qi, Qinwei Yang, Shengkai Lin, Shizhen Zhao, Wei Zhang

专题命中 长上下文与记忆 :LLM(abstract)

AI总结 LiveR通过活体重新配置技术,解决了大规模模型训练中因资源波动导致的停机问题,显著减少了停机时间并提高了资源利用率。

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 推理与问题求解 68 篇

2605.22389 2026-05-22 cs.CL 92%

Unified Data Selection for LLM Reasoning

统一的数据选择用于LLM推理

Xiaoyuan Li, Yubo Ma, Chengpeng Li, Fengbin Zhu, Yiyao Yu, Keqin Bao, Wenjie Wang, Fuli Feng, Dayiheng Liu

机构 * University of Science and Technology of China(中国科学技术大学) Alibaba Group(阿里巴巴集团) National University of Singapore(新加坡国立大学)

专题命中 推理与问题求解 :LLM(title,title_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出了一种无需训练的高熵和(HES)指标,用于评估和选择高质量的推理样本,通过在三种主流训练范式(监督微调、拒绝微调和强化学习)中验证,证明了其在提高LLM推理性能和减少计算开销方面的有效性。

Comments Under Review

详情

展开后加载摘要…

URL PDF HTML 收藏
2308.04371 2026-05-22 cs.AI 92%

Cumulative Reasoning with Large Language Models

基于大语言模型的累积推理

Yifan Zhang, Jingqin Yang, Yang Yuan, Andrew Chi-Chih Yao

机构 * IIIS, Tsinghua University(清华大学人工智能研究院) Shanghai Qi Zhi Institute(上海启智研究院)

专题命中 推理与问题求解 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出了一种名为累积推理(CR)的框架,通过模拟人类的迭代和累积思维过程,增强大语言模型(LLM)的问题解决能力。CR通过分解任务、生成并验证中间推理步骤,构建动态有向无环图(DAG)来组成解决方案,从而在逻辑推理、24点游戏和数学问题等任务中取得了显著的性能提升。

Comments Published in Transactions on Machine Learning Research (TMLR). Project Page: https://github.com/iiis-ai/cumulative-reasoning

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22154 2026-05-22 cs.AI 92%

IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents

IdleSpec: 通过投机规划利用空闲时间用于LLM代理

Daewon Choi, Kyunghyun Park, Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Jinwoo Shin, Aram Galstyan

机构 * KAIST(韩国科学技术院) Amazon AGI(亚马逊人工智慧实验室) Together AI

专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出IdleSpec,一种利用空闲时间提升LLM代理性能的方法,通过在空闲期间生成计划候选并减少延迟开销,从而在多种代理场景中显著提高性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.09851 2026-05-22 cs.LG 92%

CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization

CoFEH: 由协作贝叶斯超参数优化赋能的LLM驱动特征工程

Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

机构 * School of CS \& Key Lab of High Confidence Software Technologies (MOE), Peking University Beijing China School of CS \& Beijing Key Laboratory of Software Hardware Cooperative Artificial Intelligence Systems, Peking University Beijing China School of CS \& Key Lab of High Confidence Software Technologies (MOE), Peking University Hardware Cooperative Artificial Intelligence Systems, Peking University

专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出CoFEH框架,通过结合LLM驱动的特征工程和贝叶斯超参数优化,实现鲁棒的端到端AutoML,解决了传统方法在搜索空间刚性和缺乏领域意识的问题,并引入互条件机制提升FE与HPO的协同效果。

Comments Accepted at KDD 2026. Extended version with full appendices

详情

展开后加载摘要…

URL PDF HTML 收藏