SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL
SAC: 面向稀疏注意力LLM的基于CXL的解耦KV缓存系统
专题命中 长上下文与记忆 :LLM(title_cn,abstract_cn)
AI总结 针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈,提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC,相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
SAC: 面向稀疏注意力LLM的基于CXL的解耦KV缓存系统
专题命中 长上下文与记忆 :LLM(title_cn,abstract_cn)
AI总结 针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈,提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC,相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。
多智能体交互记忆
机构 * Carnegie Mellon University(卡内基梅隆大学) ; University of California, Berkeley(加州大学伯克利分校)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI
AI总结 提出MATM框架,通过共享存储和检索智能体轨迹,实现异构智能体群体间的知识复用,提升下游任务性能并减少交互步骤。
LoRDO: 分布式低秩优化与低频通信
机构 * University of Cambridge(剑桥大学) ; Institute of Science and Technology Austria(奥地利科学与技术研究院) ; Lancaster University(兰卡斯特大学) ; Flower Labs(Flower实验室)
专题命中 长上下文与记忆 :language model(abstract);foundation model(abstract);分类 cs.AI、cs.LG
AI总结 提出LoRDO框架,统一低秩优化与低频同步,通过全秩准双曲更新恢复子空间探索,在125M-720M模型规模下实现与低秩DDP近似的性能,通信量减少约10倍。
Comments Accepted at ICML 2026
FundaPod: 一个具有知识图谱记忆的多角色智能体平台,用于AI辅助的基础投资研究
机构 * Stevens Institute of Technology(史蒂文斯理工学院) ; UMass Boston(马萨诸塞大学波士顿分校)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI
AI总结 提出FundaPod平台,通过多角色独立研究、知识图谱记忆和事后裁决机制,支持人类投资经理进行透明、可验证的基础投资决策。
Comments 32 pages; 12 figures
HY-WU (第一部分): 一种可扩展的功能性神经记忆框架及其在文本引导图像编辑中的应用
机构 * Tencent HY Team(腾讯 HY 团队)
专题命中 长上下文与记忆 :foundation model(abstract)
AI总结 提出HY-WU框架,通过功能性神经记忆模块即时生成实例特定权重更新,避免共享权重覆盖导致的干扰,解决持续学习与个性化中的灾难性遗忘问题。
推理的热力学特征:用于大型语言模型幻觉检测的自由能和谱形因子诊断
机构 * Talan Research & Innovation Center(Talan研究与创新中心)
专题命中 推理与问题求解 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.LG
AI总结 提出自由能签名(Fes)作为谱描述符,将注意力拉普拉斯视为哈密顿量并提取热力学势和随机矩阵理论谱形因子,用于检测LLM幻觉,无需训练即可实现高AUROC。
基于大语言模型的知识图谱推理中的幻觉检测
机构 * Beijing University of Posts and Telecommunications(北京邮电大学) ; Tsinghua University(清华大学)
专题命中 推理与问题求解 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI
AI总结 提出LUCID方法,结合LLM注意力分数、知识图谱语义和结构信息,利用图神经网络检测LLM在知识图谱推理中的幻觉,在九个数据集上达到最优性能。
人类级推理:大型语言模型在逻辑与抽象推理上的比较研究
机构 * Universidade Federal de Santa Catarina(联邦圣卡塔琳娜大学)
专题命中 推理与问题求解 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI
AI总结 本文通过八个定制推理问题比较了多个LLM在逻辑和抽象推理能力上的表现,揭示了模型在推理任务上的差异及不足。
Comments 12 pages
Journal ref Proceedings of the 2026 Computer on the Beach
面向LLM推理的强化学习感知知识蒸馏
机构 * Meta ; Guo et al. ; Lin et al. ; Xu et al. ; Shao et al. ; Schulman et al. ; Xie et al.
专题命中 推理与问题求解 :LLM(title,title_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)
AI总结 提出RL感知蒸馏(RLAD),通过信任区域比率蒸馏(TRRD)在强化学习后训练中实现选择性模仿,解决分布不匹配和目标干扰问题,在逻辑推理和数学基准上优于现有方法。
LLM介导的人机交互在搜索与救援中的应用:专业知识对注意力分配的影响
专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract)
AI总结 本研究通过模拟搜索救援任务,比较有无大语言模型(LLM)指导的条件,结合眼动追踪和行为分析,发现LLM提升任务效率但未增加总救援人数,并揭示了注意力-指导权衡,其中专业知识调节了用户对AI的依赖模式。
PCBSchemaGen: 奖励引导的LLM代码合成用于印刷电路板(PCB)原理图设计及结构化验证
机构 * Semiconductor Power Electronics Center (SPEC)(半导体功率电子中心) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Arizona State University(亚利桑那州立大学)
专题命中 推理与问题求解 :LLM(title,title_cn);prompting(abstract);分类 cs.AI、cs.LG
AI总结 提出PCBSchemaGen框架,通过结构化验证器引导冻结的LLM生成可修复的PCB原理图,在无单元测试的领域实现高准确率。
IdealGPT: 通过大型语言模型迭代分解视觉与语言推理
机构 * Columbia University(哥伦比亚大学) ; HKUST(香港科技大学) ; University of California, Los Angeles(加州大学洛杉矶分校)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL
AI总结 提出IdealGPT框架,利用大型语言模型迭代分解视觉语言推理任务,通过子问题生成、子答案获取和最终答案推理的循环过程,在零样本设置下显著提升多步推理性能。
Comments 13 pages, 5 figures
超越熵:从令牌级分布偏差中学习以增强LLM推理
机构 * The Hong Kong University of Science and Technology(香港科技大学) ; Sichuan University(四川大学) ; The Hong Kong Polytechnic University(香港理工大学)
专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 针对RLVR中令牌更新导致的熵塌陷或爆炸问题,提出ICT框架,利用JS散度识别关键令牌,通过选择性更新平衡策略集中度,提升推理性能。
多智能体LLM协商中的隐藏锚点
机构 * University of North Texas(北德克萨斯大学)
专题命中 推理与问题求解 :LLM(title,title_cn);分类 cs.AI
AI总结 将多智能体LLM协商建模为闭环动力系统,每个智能体有隐藏内部信念(锚点),解释协商如何超越初始信念凸包,并通过恢复锚点预测模型行为。
Comments 13 pages, 6 figures, 7 tables
FM-Agent: 通过基于LLM的Hoare风格推理将形式化方法扩展到大型系统
机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学)
专题命中 推理与问题求解 :LLM(title,title_cn);分类 cs.AI
AI总结 提出FM-Agent框架,利用LLM自动生成函数级规范,实现大型系统的组合式推理,在143k行代码的系统中2天内发现522个新bug。
对抗性同伴下的异构LLM辩论:诚实增益、替代成本与韧性
专题命中 推理与问题求解 :LLM(title,title_cn)
AI总结 研究异构LLM辩论中诚实与对抗性同伴对修正行为的影响,发现诚实同伴降低有害修正率,对抗性同伴则逆转,且异构性在已有对手时也能作为防御。
QMFOL:通过可量化的一元一阶逻辑测试用例生成来基准测试大语言模型推理
机构 * Huazhong University of Science and Technology(华中科技大学) ; Nanyang Technological University(南洋理工大学) ; Hubei University(湖北大学) ; East China Normal University(华东师范大学) ; National University of Singapore(新加坡国立大学)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);LLM(abstract_cn);分类 cs.AI
AI总结 提出QMFOL框架,通过可控制复杂度的合取/析取模式生成一元一阶逻辑推理任务,并构建包含2880个实例的基准QMFOLBench,评估显示逻辑复杂度增加导致性能下降和计算开销上升。
从视频中学习几何表示以实现空间智能多模态大语言模型
机构 * University of California, Davis(加州大学戴维斯分校)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);foundation model(abstract);分类 cs.AI
AI总结 提出GeoVR框架,通过从2D视频序列中蒸馏3D几何知识(包括相机姿态、深度图、尺度因子和多尺度3D特征),重塑多模态大语言模型的内部表示以赋予其空间智能,在空间推理基准上达到最先进性能。
流形赌博机:大语言模型潜在几何上的贝叶斯课程学习
机构 * University of California, San Diego(加州大学圣迭戈分校)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 提出贝叶斯流形课程(BMC)框架,将问题采样建模为流形结构赌博机问题,通过层次任务树和贝叶斯学习引导采样,平衡学习信号、多样性和实用性。
Comments Webpage: https://darrienmckenzie.com/manifold-bandits/
分析大语言模型-求解器循环中的叙述差距
机构 * Eindhoven University of Technology(埃因霍温理工大学)
专题命中 推理与问题求解 :LLM(title,summary_cn);language model(abstract);分类 cs.AI
AI总结 研究LLM与SAT/SMT求解器混合推理中,将求解器输出转化为用户答案的叙述步骤存在的安全漏洞,通过形式化建模和实验评估发现证书门控可保证求解结果正确,但对抗攻击可反转结论。
Occ-VLM: 面向室内场景理解的占用接地视觉语言模型
机构 * School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
专题命中 推理与问题求解 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract)
AI总结 提出Occ-VLM,仅用姿态RGB图像和单一2D视觉编码器,通过重建3D占用作为几何先验,实现统一的3D场景理解,在占用预测、3D VQA和密集描述任务上达到领先水平。
通过知识增强的LLM智能体实现左移高层次综合验证
专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract)
AI总结 提出一种知识增强的智能体驱动左移验证框架,通过双层级一致性检查、符号执行和HLS验证知识图谱,在综合前自动验证C与HLS-C的功能一致性,覆盖率达98.26%。
视觉-语言模型是理解3D场景还是仅仅 catalogue 物体?
机构 * Deccan AI(德克南人工智能)
专题命中 推理与问题求解 :language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.LG
AI总结 本文通过一个包含3034个样本的人工整理基准,探讨了视觉-语言模型对空间理解的深度有序遮挡、光学几何推断和体积重新安排规划能力,发现模型在重新安排可见布局时表现优异,但在遮挡和反射推断上表现较差。
BioHarness:面向生物医学问答的底物感知证据组装——跨文献、知识库和生物图谱
专题命中 推理与问题求解 :LLM(abstract,abstract_cn);large language model(abstract,comments);language model(abstract,comments)
AI总结 提出BioHarness,通过级联控制机制在文献检索、知识库和生物图谱间选择性组装证据,提升生物医学问答准确率,在19,302个问答项上得分从65.9提升至71.0。
Comments 14 Pages, 11 Figures, Keywords: biomedical question answering; retrieval-augmented generation; large language models; evidence assembly; biomedical knowledge bases; biological atlases
视觉即修复:基于多模态大语言模型的视觉软件问题修复
专题命中 推理与问题求解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract)
AI总结 本文提出GUIRepair方法,通过多模态推理解决视觉软件问题,结合图像到代码和代码到图像的组件提升故障理解和修复验证。
Journal ref 2025 40th IEEE/ACM International Conference on Automated Software Engineering (ASE)
S2D2:通过免训练自我推测实现扩散LLM的快速解码
机构 * Red Hat AI Innovation(红帽AI创新) ; MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室) ; Iowa State University(爱荷华州立大学) ; Core AI, IBM(IBM核心AI)
专题命中 推理与问题求解 :LLM(title_cn);language model(abstract);分类 cs.CL
AI总结 提出S2D2,一种免训练的自我推测解码框架,通过将块扩散模型在块大小为1时变为自回归模型,实现草稿与验证角色复用,在不增加训练或测试计算下提升解码速度与准确性。
Comments Code is available at https://github.com/phymhan/S2D2
VERITAS:验证器引导的零样本形式定理证明搜索
机构 * Department of Computer Science, Vanderbilt University(范德堡大学计算机科学系) ; Amazon(亚马逊)
专题命中 推理与问题求解 :LLM(abstract,abstract_cn);分类 cs.AI、cs.LG
AI总结 提出VERITAS框架,通过两阶段协议(Best-of-N采样+批评引导MCTS)利用验证器反馈进行零样本定理证明,在miniF2F上达40.6%准确率,并发布组合学基准VERITAS-CombiBench。
粒度调控的自适应计算效率:测试时扩展中的最优验证
机构 * European University of Tirana(欧洲地拉那大学)
专题命中 推理与问题求解 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG
AI总结 提出GRACE理论框架,将验证粒度建模为问题难度、验证器准确率和计算预算的函数,证明存在相变:细粒度验证在计算预算大或问题难时占优,粗粒度验证在低预算简单问题时更优,自适应策略可达到计算-性能帕累托前沿。
查询应置于何处?通过解码动力学揭示并缓解扩散大语言模型中上下文学习的位置偏差
机构 * Southeast University(东南大学)
专题命中 推理与问题求解 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 本文系统分析了扩散大语言模型中查询位置对生成质量的影响,发现其与示例语义质量同等重要,并提出基于平均置信度的无训练自适应路由策略Auto-ICL以优化查询放置。
Comments 9 figures, 4 tables
超越推理增益:缓解大型推理模型中的通用能力遗忘
机构 * Meta Superintelligence Labs(Meta超智能实验室) ; New York University(纽约大学) ; Johns Hopkins University(约翰霍普金斯大学)
专题命中 推理与问题求解 :language model(abstract);post-training(abstract);分类 cs.AI、cs.LG
AI总结 针对强化学习训练导致推理模型遗忘基础能力的问题,提出RECAP重放策略,通过动态目标重加权在线调整训练重点,在保持通用能力的同时提升推理性能。