arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-14 至 2026-07-14 共收录 152 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 11 篇

2606.09204 2026-07-14 cs.LG cs.CL cs.CR 版本更新 90%

The Injection Paradox: Brand-Level Suppression in Safety-Trained LLM Recommendations via RAG Context Injection

注入悖论:通过RAG上下文注入在安全训练的LLM推荐中实现品牌级压制

Hyunseok Paeng

机构 * University of California, Berkeley(加州大学伯克利分校)

专题命中 预训练与数据 :LLM(title,title_cn);分类 cs.CL、cs.LG

AI总结 研究发现在基于RAG的LLM推荐中,安全训练会导致注入提示反而压制目标品牌推荐率,揭示了安全机制可能被逆向利用的风险。

Comments 18 pages, 1 figure, 15 tables. Accepted at the ICML 2026 Workshop on Failure Modes in Agentic AI (FAGEN), a non-archival venue

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.24890 2026-07-14 cs.CL cs.AI cs.CY 版本更新 86%

Small edits, large models: How Wikipedia advocacy shapes LLM values

小编辑,大模型:维基百科倡导如何塑造LLM价值观

Jasmine Brazilek, Maria Navas, Alexa Gnauck

机构 * Compassion Aligned Machine Learning (CaML)(慈悲对齐机器学习实验室) Independent researcher(独立研究者) Pro-Animal Wikipedians (PAW)(亲动物维基人组织)

专题命中 预训练与数据 :LLM(title,title_cn);language model(abstract);分类 cs.CL、cs.AI

AI总结 通过梯度归因和反事实影响估计,发现维基百科上一个小型倡导组织的编辑活动显著影响了语言模型在动物福利话题上的行为。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01061 2026-07-14 cs.AI cs.CL 版本更新 85%

Agentic generation of verifiable rules for deterministic, self-expanding reaction classification

用于确定性、自扩展反应分类的可验证规则的智能体生成

Daniel Armstrong, Maarten Dobbelaere, Valentas Olikauskas, Helena Avila, Octavian Susanu, Jérôme Waser, Philippe Schwaller

机构 * École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院) Laboratory for Chemical Technology, Ghent University(根特大学化学技术实验室) NCCR Catalysis(瑞士国家研究能力中心催化项目)

专题命中 预训练与数据 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 提出多智能体LLM框架,通过验证循环自动生成反应规则,将标准分类从68类扩展到14,073类,并实现97.7%的未知反应分类准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.05235 2026-07-14 cs.CL 版本更新 81%

FedMosaic: Federated Retrieval-Augmented Generation via Parametric Adapters

FedMosaic:通过参数适配器进行联邦检索增强生成

Zhilin Liang, Yuxiang Wang, Zimu Zhou, Hainan Zhang, Boyi Liu, Yongxin Tong

机构 * SKLCCSE Lab Beihang University Beijing China(SKLCCSE实验室 北航) Department of Data Science City University of Hong Kong Hong Kong China(数据科学系 香港城市大学) Beijing Advanced Innovation Center Beihang University Beijing China(北京先进创新中心 北航) Beihang University(北航) City University of Hong Kong(香港城市大学)

专题命中 预训练与数据 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 研究针对隐私敏感领域,解决联邦检索增强生成中高存储通信及适配器聚合问题。核心方法是提出FedMosaic框架,聚类文档成多文档适配器并选择性聚合。主要贡献是准确率提高,存储和通信成本降低,且不共享原始文档。

Comments 11 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08765 2026-07-14 cs.CV 版本更新 78%

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

通过几何感知预训练增强上下文全景生成

Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

机构 * Insta360 Research(影石创新研究院) Tsinghua University(清华大学) Beihang University(北京航空航天大学) Wuhan University(武汉大学)

专题命中 预训练与数据 :pretraining(title,abstract)

AI总结 该研究提出两阶段框架Canvas360用于上下文全景生成,结合几何感知预训练与微调。通过构建数据集及特定建模方法,增强文本到全景生成,经实验验证其能提高全景图像保真度,在相关指标上表现优异。

Comments Project page: https://zry000.github.io/Canvas360/ Github: https://github.com/Insta360-Research-Team/Canvas360

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21511 2026-07-14 cs.CV 版本更新 78%

Back to Point: Exploring Point-Language Models for Zero-Shot 3D Anomaly Detection

回到点:探索用于零样本3D异常检测的点语言模型

Kaiqiang Li, Gang Li, Mingle Zhou, Min Li, Delong Han, Jin Wan

机构 * Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences), Jinan, China(计算机功率网络与信息安全重点实验室,教育部,山东计算机科学中心(济南国家超级计算机中心),齐鲁大学(山东科学院),济南,中国) Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science, Jinan, China(山东省计算功率互联网与服务计算重点实验室,山东省计算机科学基础研究中心,济南,中国)

专题命中 预训练与数据 :language model(title,abstract)

AI总结 本文提出BTP框架,通过结合3D点云和文本嵌入,提升零样本3D异常检测的性能,实验表明其在Real3D-AD和Anomaly-ShapeNet上表现优异。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.02776 2026-07-14 cs.RO 版本更新 75%

XR-1: Towards Versatile Vision-Language-Action Models via Learning Unified Vision-Motion Representations

XR-1:通过学习统一的视觉-运动表示实现多功能的视觉-语言-动作模型

Shichao Fan, Kun Wu, Zhengping Che, Xinhua Wang, Di Wu, Fei Liao, Ning Liu, Yixue Zhang, Zhen Zhao, Zhiyuan Xu, Meng Li, Qingjie Liu, Shanghang Zhang, Min Wan, Jian Tang

机构 * Beijing Innovation Center of Humanoid Robotics, Beijing, China(北京人形机器人创新中心,北京,中国) School of Mechanical Engineering and Automation, Beihang University, Beijing, China(北京航空航天大学机械工程及自动化学院,北京,中国) State Key Laboratory of Virtual Reality Technology and Systems, SCSE, Beihang University, Beijing, China(虚拟现实技术与系统国家重点实验室,SCSE,北京航空航天大学,北京,中国) State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University, Beijing, China(多媒体信息处理国家重点实验室,计算机科学学院,北京大学,北京,中国)

专题命中 预训练与数据 :language model(abstract);pretraining(abstract);post-training(abstract)

AI总结 XR-1通过学习统一的视觉-运动表示,解决视觉-语言-动作模型在低级动作生成和跨数据源领域差距的挑战,提出三阶段训练方法并验证了其在多种机器人和任务上的优越性能。

Comments Accepted to ICML2026 as Oral

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.14687 2026-07-14 cs.LG cs.AI 版本更新 73%

SynthSAEBench: Evaluating Sparse Autoencoders on Scalable Realistic Synthetic Data

SynthSAEBench: 评估可扩展真实合成数据上的稀疏自编码器

David Chanin, Adrià Garriga-Alonso

机构 * University College London(伦敦大学学院) Decode Research(Decode研究)

专题命中 预训练与数据 :LLM(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 SynthSAEBench通过生成大规模真实合成数据,提供标准化基准模型,用于评估稀疏自编码器架构的改进和失败模式。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.31651 2026-07-14 cs.AI 版本更新 70%

FARS: A Fully Automated Research System Deployed at Scale

FARS:一个大规模部署的全自动研究系统

Qiong Tang, Tianxiang Sun, Xiangkun Hu, Xiangyang Liu, Yiran Chen, Yunfan Shao, Bobo Li, Changze Lv, Cheng Xu, Chengsong Huang, Chunyang Li, Dizhan Xue, Hao Bai, Haodong Duan, Hengquan Guo, Hongyang He, Hongyi Chen, Hui Shen, Jiahao Yuan, Jiankai Sun, Jikang Cheng, Jinfeng Xu, Jingqi Tong, Jingye Chen, Jinxiu Liu, Jixuan Leng, Junchi Yu, Kaixun Jiang, Kun Xiang, Kunpeng Yao, Lang Feng, Liangqi Yuan, Longsen Gao, Meng Li, Qi Jia, Qiushi Sun, Shengyuan Ding, Shizhan Gong, Siru Zhong, Terry Jingchen Zhang, Tianle Gu, Tianyi Liang, Weijie Liu, Weikai Yang, Weizhi Fei, Xin Wang, Xinpeng Liu, Xuanwen Ding, Yihong Tang, Yuanli Wang, Yukun Jiang, Yuming Yang, Zhengbao He, Zhikai Chen, Zhikun Xu, Zhuang Li, Zihao Huang

机构 * Analemma National University of Singapore(新加坡国立大学) Fudan University(复旦大学) University College Dublin(都柏林大学) Washington University in St. Louis(圣路易斯华盛顿大学) The Hong Kong University of Science and Technology(香港科技大学) Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ByteDance(字节跳动) ShanghaiTech University(上海科技大学) University of Warwick(华威大学) Carnegie Mellon University(卡内基梅隆大学) University of Michigan, Ann Arbor(密歇根大学安娜堡分校) East China Normal University(华东师范大学) Stanford University(斯坦福大学) Tencent(腾讯) The University of Hong Kong(香港大学) Shanghai Innovation Institute(上海创新研究院) Nex-AGI Team(Nex-AGI团队)

专题命中 预训练与数据 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出FARS系统,通过分阶段智能体协作自动生成研究项目,在67个AI/ML主题上产出166篇论文,经282份评审验证其可产出有价值成果,同时暴露实验范围窄、方法局限和诚信问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07486 2026-07-14 cs.CR cs.AI 版本更新 70%

Private Seeds, Public LLMs: Realistic and Privacy-Preserving Synthetic Data Generation

隐私种子,公开大语言模型:现实且隐私保护的合成数据生成

Qian Ma, Sarah Rajtmajer

机构 * Information Sciences and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出RPSG方法,通过隐私种子和差分隐私机制生成高保真且隐私保护的合成数据,实验验证其在隐私与效用平衡上的优势。

Comments Published in Findings of the Association for Computational Linguistics: ACL 2026. Camera-ready version

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 189-210, Association for Computational Linguistics, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05153 2026-07-14 stat.ML cs.LG q-bio.BM 版本更新 57%

Geometric Causal Models

几何因果模型

Eli N. Weinstein, David M. Blei

机构 * Department of Chemistry, Technical University of Denmark(丹麦技术大学化学系) Departments of Statistics and Computer Science, Columbia University(哥伦比亚大学统计学与计算机科学系)

专题命中 预训练与数据 :language model(abstract);分类 cs.LG

AI总结 针对非独立同分布结构化数据的因果推断难题,提出利用数据生成过程内在对称性的几何因果模型框架,结合群论、遍历理论与几何深度学习实现因果识别与估计。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 4 篇

2605.05285 2026-07-14 cs.LG 版本更新 90%

Attribution-Guided Continual Learning for Large Language Models

基于属性引导的大型语言模型持续学习

Yazheng Liu, Yuxuan Wan, Rui Xu, Xi Zhang, Sihong Xie, Hui Xiong

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州)) The Beijing University of Posts and Telecommunications(北京邮电大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.LG

AI总结 本文提出基于属性引导的持续学习框架,通过估计每个Transformer层中参数的重要性,调节梯度以保留旧任务知识,实验表明在持续学习基准上优于基线方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.23525 2026-07-14 cs.CL 版本更新 74%

Self-Compacting Language Model Agents

自压缩语言模型智能体

Tianjian Li, Jingyu Zhang, William Jurayj, Xi Wang, Chuanyang Jin, Mehrdad Farajtabar, Eric Nalisnick, Daniel Khashabi

机构 * Johns Hopkins University(约翰霍普金斯大学) Apple(苹果公司)

专题命中 指令微调 :language model(title);分类 cs.CL

AI总结 提出SelfCompact框架,让语言模型自主决定何时及如何压缩上下文,通过调用压缩工具和轻量级规则实现自适应压缩,无需微调或外部监督,在多个基准上以更低成本匹配或超越固定间隔压缩。

Comments 25 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.04364 2026-07-14 cs.LG 版本更新 70%

RL Forgets! Towards Continual Policy Optimization

强化学习会遗忘!迈向持续策略优化

Mao-Lin Luo, Zhe-Xu Wang, Zi-Hao Zhou, Bo Ye, Jian Zhao, Min-Ling Zhang, Tong Wei

机构 * School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院) Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education(教育部计算机网络和信息集成重点实验室(东南大学)) Zhongguancun Academy(中关村科学城公司) Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)

专题命中 指令微调 :language model(abstract);post-training(abstract);分类 cs.LG

AI总结 研究持续训练中强化学习易遗忘问题,引入MRCL基准测试,提出持续策略优化框架CPO,通过参数移动正则化减少遗忘,多模型规模实验验证了其有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01581 2026-07-14 cs.CV 版本更新 67%

Satellite-Free Training for Drone-View Geo-Localization

无需卫星的无人机视角地理定位

Tao Liu, Yingzhi Zhang, Kan Ren, Xiaoqi Zhao

机构 * Nanjing University of Science and Technology(南京理工大学) University of Tsukuba(筑波大学) Nanyang Technological University(南洋理工大学)

专题命中 指令微调 :SFT(abstract,abstract_cn)

AI总结 本文提出无需卫星数据的训练框架,通过三维场景重建、伪正射影像生成和特征聚合,提升无人机在无GPS环境下的地理定位性能。

Comments Withdrawn by the authors to allow for substantial revision in light of valuable reviewer feedback. A thoroughly revised version may be submitted in the future

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 后训练与偏好优化 5 篇

2606.26102 2026-07-14 cs.CL cs.AI cs.CY 版本更新 88%

Helpfulness Hurts: Domain-Dependent Degradation of Mid-Trained Compassion Values Under Post-Training

帮助有害:后训练中领域依赖的中期训练同情价值观退化

Jasmine Brazilek, Juliana Seawell

机构 * Compassion Aligned Machine Learning (CaML)(同情心对齐机器学习实验室)

专题命中 后训练与偏好优化 :post-training(title,abstract);SFT(abstract,abstract_cn);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究后训练数据领域对中期训练同情价值观的影响,发现帮助性训练比编程训练更显著降低动物同情和道德推理能力,但跨语言迁移存在差异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.17686 2026-07-14 cs.LG cs.AI 版本更新 73%

BRIDGE: Bridging Reasoning In Distillation Gap Elimination via Structure-Aware Masking

通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏课程学习

Bowen Yu, Sheng Zhang, Binhao Wang, Yi Wen, Jingtong Gao, Bowen Liu, Zimo Zhao, Shanshan Ye, Wanyu Wang, Maolin Wang, Xiangyu Zhao

机构 * City University of Hong Kong(香港城市大学)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 通过结构感知掩码和GRPO实现高效的链式推理知识蒸馏,提升学生模型的准确率和输出简洁性。

Comments 13 pages, 12 figures. Accepted at SDM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.26599 2026-07-14 cs.CV 版本更新 67%

VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward

VGGRPO:迈向世界一致的视频生成的4D潜在奖励

Zhaochong An, Orest Kupyn, Théo Uscidda, Andrea Colaco, Karan Ahuja, Serge Belongie, Mar Gonzalez-Franco, Marta Tintore Gazulla

机构 * Google(谷歌) University of Oxford(牛津大学) CREST-ENSAE, Institut Polytechnique de Paris(巴黎综合理工学院CREST-ENSAE) University of Copenhagen(哥本哈根大学)

专题命中 后训练与偏好优化 :foundation model(abstract);post-training(abstract)

AI总结 VGGRPO通过引入4D潜在几何模型和组相对策略优化,提升视频生成的几何一致性与稳定性,避免VAE解码的高计算开销。

Comments Accepted at ECCV 2026. Project Page: https://zhaochongan.github.io/projects/VGGRPO

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17343 2026-07-14 cs.CV 版本更新 67%

EvoGuard: An Extensible Agentic RL-based Framework for Practical and Evolving AI-Generated Image Detection

EvoGuard: 一种基于代理强化学习的可扩展框架,用于实际和演化的AI生成图像检测

Chenyang Zhu, Maorong Wang, Jun Liu, Ching-Chun Chang, Isao Echizen

机构 * The University of Tokyo(东京大学) National Institute of Informatics(国家信息研究所)

专题命中 后训练与偏好优化 :large language model(abstract);language model(abstract)

AI总结 本文提出EvoGuard框架,利用多模态大语言模型和非MLLM检测器,通过能力感知的动态编排机制实现高效AIGI检测,优化后无需细粒度标注,实验表明其在准确性和可扩展性上均达最优。

Comments Template changed

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.19311 2026-07-14 cs.CV cs.AI 版本更新 57%

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

MixFlow训练:用慢插值混合减轻曝光偏差

Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

专题命中 后训练与偏好优化 :post-training(abstract);分类 cs.AI

AI总结 研究扩散模型训练-测试差异问题,提出MixFlow方法,利用慢流现象的慢插值混合对预测网络后处理,在类条件图像生成和文本到图像生成实验中验证有效,在RAE模型的ImageNet生成任务上取得好结果。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

4. 长上下文与记忆 7 篇

2605.17932 2026-07-14 cs.CL cs.AI 版本更新 88%

Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

在扩散大型语言模型中进行提示压缩:在LLDA上评估LLMLingua-2

Sterling Huang, Abigayle Brown, Jiyoo Noh, Jiakang Xu, Wantong Huo, Kaung Myat Kyaw, Jonathan Chan

机构 * University of Toronto(多伦多大学) King Mongkut’s University of Technology Thonburi(泰国科技理工学院)

专题命中 长上下文与记忆 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI

AI总结 本文研究了提示压缩在扩散大型语言模型中的有效性,通过在LLDA上评估LLMLingua-2,发现提示压缩在数学推理任务中效果不佳,而摘要任务相对稳健,表明为扩散模型设计的提示压缩方法并不适用于所有场景。

Comments Accepted to appear in The 14th International Conference on Advances in Information Technology (IAIT2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.21833 2026-07-14 cs.LG 版本更新 86%

Memory Savings at What Cost? A Study of Alternatives to Backpropagation

以何种代价节省内存?反向传播替代方案研究

Kunjal Panchal, Sunav Choudhary, Yuriy Brun, Hui Guan

机构 * College of Information and Computer Sciences, University of Massachusetts, Amherst(信息与计算机科学学院,马萨诸塞大学阿默斯特分校) Adobe, San Jose(Adobe公司,圣乔斯)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现,发现FmAD和ZO虽省内存但有计算成本等问题,带检查点的BP在多方面更优,纠正了此前关于LLM优化的片面基准测试观点。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.13353 2026-07-14 cs.CL cs.LG cs.SE 版本更新 85%

Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Understanding

感知与敏感性:探讨语义回忆对长上下文代码推理的影响

Adam Štorek, Mukur Gupta, Samira Hajizadeh, Prashast Srivastava, Suman Jana

机构 * Columbia University(哥伦比亚大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 本文探讨了语义回忆对长上下文代码推理的影响,通过评估10种先进LLM发现,前沿模型在词汇回忆上表现优异,但语义回忆在长上下文中央位置时显著下降。引入语义回忆敏感性指标,提出SemTrace任务,展示LLM在长上下文中的位置效应。

Comments Accepted to ACL 2026 (main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.07372 2026-07-14 cs.CL cs.AI 版本更新 85%

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆:大语言模型稀疏性的新轴

Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

机构 * Peking University(北京大学) DeepSeek-AI

专题命中 长上下文与记忆 :large language model(title);language model(title);分类 cs.CL、cs.AI

AI总结 研究针对Transformer缺乏知识查找原语的问题,引入条件记忆及Engram模块,通过制定稀疏分配问题发现U形缩放定律,扩展Engram至27B参数,在多领域提升性能,揭示其优势,为下一代稀疏模型提供重要建模原语。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01331 2026-07-14 cs.CL cs.AI cs.LG 版本更新 82%

MetaState: Persistent Working Memory Enhances Reasoning in Discrete Diffusion Language Models

MetaState: 持久工作记忆增强离散扩散语言模型的推理能力

Kejing Xia, Mingzhe Li, Lixuan Wei, Zhenbang Du, Xiangchi Yuan, Dachuan Shi, Qirui Jin, Wenke Lee

机构 * Georgia Institute of Technology(佐治亚理工学院) University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校) Harvard University(哈佛大学)

专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 MetaState通过引入轻量级循环增强模块,为冻结的离散扩散语言模型提供持久固定大小的工作记忆,提升推理性能,平均提升4.5%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.17034 2026-07-14 cs.CL cs.LG 版本更新 74%

KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

KVEraser: 学习操控KV缓存以实现高效的局部上下文擦除

Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

机构 * Georgia Institute of Technology(佐治亚理工学院) Meta

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL、cs.LG;foundation model(comments)

AI总结 提出KVEraser方法,通过学习操控KV缓存实现局部上下文擦除,避免全局重计算,在长上下文任务中接近全重算性能且延迟仅增加24%。

Comments Oral at the ICML 2026 Workshop on the Impact of Memorization on Trustworthy Foundation Models; Code available at https://github.com/Graph-COM/KVEraser

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.08332 2026-07-14 cs.CL 版本更新 57%

XALPHA: A Memory-Driven AI Quant Researcher for Hypothesis-to-Code Alpha Discovery

XALPHA:一个用于从假设到代码的阿尔法发现的内存驱动人工智能量化研究员

Fengyuan Liu, Yuchen Fu, Yuqi Wang, Qi Liu

机构 * School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)

专题命中 长上下文与记忆 :LLM(abstract);分类 cs.CL

AI总结 针对金融市场难以发现交易信号问题,介绍内存驱动的XAlpha人工智能量化研究员,它通过多源研究内存系统,实现从假设到代码的闭环阿尔法发现过程,实验表明其比基线有更强的阿尔法发现性能。

详情

展开后加载摘要…

URL PDF HTML 收藏

5. 推理与问题求解 36 篇

2606.11678 2026-07-14 cs.CL 版本更新 92%

Can AI Reason Like an Urban Planner? Benchmarking Large Language Models Against Professional Judgment

AI能像城市规划师一样推理吗?基于专业判断的大语言模型基准测试

Yijie Deng, He Zhu, Wen Wang, Junyou Su, Minxin Chen, Wenjia Zhang

机构 * School of Architecture and Urban Planning, Shenzhen University(深圳大学建筑与城市规划学院) Shenzhen Key Laboratory of Urban Spatial Information and Intelligent Modeling(深圳市城市空间信息与智能建模重点实验室) Department of Urban Planning and Design, The University of Hong Kong(香港大学城市规划与设计系)

专题命中 推理与问题求解 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 提出UPBench框架,通过4×5知识支柱与认知水平矩阵评估25个LLM,发现模型在分析任务上优于事实回忆和综合判断,揭示了规划知识的制度依赖性。

Comments This paper has been withdrawn by the authors because the current version requires substantial revision and further validation before it can be considered a reliable representation of the work

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.18850 2026-07-14 cs.CL 版本更新 92%

Cognitive Alpha Mining via LLM-Driven Code-Based Evolution

通过LLM驱动的代码基于进化进行认知Alpha挖掘

Fengyuan Liu, Yi Huang, Sichun Luo, Yuqi Wang, Yazheng Yang, Xinye Li, Zefa Hu, Junlan Feng, Qi Liu

机构 * Jiutian Research, China Mobile(九天研究,中国移动) School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院)

专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出CogAlpha框架,结合代码级Alpha表示与LLM驱动的推理和进化搜索,以实现更广泛、结构化且人似的探索,提升Alpha发现的预测准确性与经济解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.26104 2026-07-14 cs.CL cs.AI 版本更新 89%

Assert, don't describe: Linguistic features that shift LLM reasoning about animal welfare

断言,而非描述:改变LLM关于动物福利推理的语言特征

Jasmine Brazilek, Harper Dunn

机构 * Compassion Aligned Machine Learning (CaML)(同情对齐机器学习实验室) Independent researcher(独立研究者)

专题命中 推理与问题求解 :LLM(title,title_cn);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究通过词汇匹配的立场对比探针,测量十种语言特征对Llama-3.2-1B模型动物福利推理的影响,发现断言性确定性等七种特征增强支持动物福利,而模糊语言等两种特征削弱立场。

详情

展开后加载摘要…

URL PDF HTML 收藏