arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-07-03 至 2026-07-03 共收录 16 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 16 篇

2510.04391 2026-07-03 cs.AI cs.CL cs.SI q-bio.NC 版本更新 92%

Psychological Imagination Networks Show Cross-Population Centrality and Clustering Alignment in Humans That Large Language Models Fail to Replicate

心理想象网络显示人类跨群体中心性和聚类对齐,而大型语言模型无法复制

Saurabh Ranjan, Brian Odegaard

机构 * University of Florida(佛罗里达大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.AI

AI总结 本研究通过心理网络分析发现,人类对心理意象的生动性评分在不同文化群体中形成稳定的网络结构,而大型语言模型(LLM)无法复制这种结构,表明人类想象网络根植于具身经验。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01248 2026-07-03 cs.CY cs.AI 新提交 92%

A Practice Auditing Framework for Large Language Model Use: Collective Empiricism, Pseudo-Rational Cognition, and Governance of AI-Generated Content

大型语言模型使用的实践审计框架:集体经验主义、伪理性认知与AI生成内容治理

Yang Zhao, Yingshuo Li, Zeyu Zhang

机构 * School of Information and Electronics, Beijing Institute of Technology(信息与电子学院,北京理工大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 提出实践审计框架,通过集体经验主义和伪理性认知概念分析LLM使用中的认知风险,并设计基于需求定义、证据审计等步骤的治理流程。

Comments English manuscript. 2 tables, 17 references

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01903 2026-07-03 cs.AI cs.SE 新提交 90%

Rethinking Complexity Metrics for LLM-Integrated Applications: Beyond Source Code

重新思考LLM集成应用的复杂性度量:超越源代码

Zihao Xu, Yuekang Li, Gelei Deng, Yi Liu, Zhenchang Xing

机构 * Zihao Xu1, Yuekang Li1, Gelei Deng2, Yi Liu3, Zhenchang Xing45(未明确机构)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.AI

AI总结 提出HECATE工具,基于Prompt-as-Specification形式化方法,从提示层和代码层评估LLM集成应用的复杂性,发现提示层复杂性是独立维度,10个有效度量中7个为新增的结构广度度量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02255 2026-07-03 cs.AI cs.CL 新提交 88%

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

AgenticSTS: 一种用于长周期LLM智能体的有界记忆测试平台

Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li, Xiangcheng Cao, Yihao Liu, Fanrui Zhang, Li Jin, Kaipeng Zhang

机构 * Alaya Lab(Alaya实验室) Shanghai Jiao Tong University(上海交通大学) Shanghai Innovation Institute(上海创新研究院) Nankai University(南开大学) University of Science and Technology of China(中国科学技术大学)

专题命中 长上下文与记忆 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 提出一种有界记忆契约,通过类型化检索组装用户消息,避免原始跨决策转录,在《杀戮尖塔2》中实现并验证,揭示了战略技能层对胜率的提升效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02509 2026-07-03 cs.AI 新提交 87%

ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning

ReContext: 递归证据重放作为大语言模型的长上下文推理工具

Yanjun Zhao, Ruizhong Qiu, Tianxin Wei, Yuanchen Bei, Zhining Liu, Lingjie Chen, Ismini Lourentzou, Hanghang Tong, Jingrui He

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 长上下文与记忆 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出一种免训练推理方法ReContext,通过模型内部相关性信号构建查询条件证据池并在最终生成前重放,以提升长上下文推理中的证据利用,无需外部记忆或上下文剪枝。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01792 2026-07-03 cs.CL cs.LG 新提交 85%

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology(万隆理工学院) Pohang University of Science and Technology(浦项科技大学)

专题命中 长上下文与记忆 :LLM(title_cn,summary_cn);分类 cs.CL、cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题,提出PartRep方法,通过选择最不可预测的token进行重复,在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.19481 2026-07-03 cs.SE 85%

LLM-based Multi-Agent System for Intelligent Refactoring of Haskell Code

基于大型语言模型的多智能体系统用于Haskell代码的智能重构

Shahbaz Siddeeq, Muhammad Waseem, Zeeshan Rasheed, Md Mahade Hasan, Jussi Rasku, Mika Saari, Henri Terho, Kalle Makela, Kai-Kristian Kemell, Pekka Abrahamsson

专题命中 长上下文与记忆 :LLM(title,abstract);large language model(abstract);language model(abstract)

AI总结 本文提出基于LLM的多智能体系统,用于自动化Haskell代码重构,通过代码分析、重构执行、验证和调试等角色,提升代码质量与性能。

Comments arXiv admin note: text overlap with arXiv:2502.07928

Journal ref International Conference on Product-Focused Software Process Improvement (PROFES 2025)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.07663 2026-07-03 cs.LG 83%

SAGE: Sign-Adaptive Gradient for Memory-Efficient LLM Optimization

SAGE:用于内存高效大语言模型优化的符号自适应梯度

Wooin Lee, Hyun-Tae Kim

机构 * London, United Kingdom(英国伦敦) Seoul, Republic of Korea(韩国首尔)

专题命中 长上下文与记忆 :LLM(title,abstract);pretraining(abstract);分类 cs.LG

AI总结 本文提出SAGE优化器,通过结合Lion风格的更新方向和新的内存高效O(d)自适应缩放,解决嵌入层稀疏高方差梯度问题,实现更稳定的收敛并提升性能。

Comments Accepted to Findings of the Association for Computational Linguistics: ACL 2026. 13 pages, 4 figures, 4 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01071 2026-07-03 cs.IR cs.AI 新提交 81%

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

MemSyco-Bench:智能体记忆中的谄媚基准测试

Zhishang Xiang, Zerui Chen, Yunbo Tang, Zhimin Wei, Ruqin Ning, Yujie Lin, Qinggang Zhang, Jinsong Su

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI

AI总结 提出MemSyco-Bench基准,评估LLM智能体因记忆引发的谄媚问题,涵盖拒绝记忆、尊重适用范围、解决冲突、跟踪更新和个性化使用五个任务。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02517 2026-07-03 cs.CV 新提交 80%

WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

WorldDirector: 构建具有持久动态记忆的可控世界模拟器

Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai, Ka Leong Cheng, Yue Yu, Yixuan Li, Yihao Meng, Zichen Liu, Yanhong Zeng, Yujun Shen, Qifeng Chen

机构 * HKUST(香港科技大学) Ant Group(蚂蚁集团) ZJU(浙江大学) CUHK(香港中文大学)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract)

AI总结 提出WorldDirector框架,通过LLM协调3D轨迹与相机运动作为视频生成控制信号,解耦语义运动编排与视觉生成,实现持久动态对象记忆和自由视角探索。

Comments Project Page: https://worlddirector.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.00017 2026-07-03 cs.IR cs.AI cs.CL 新提交 73%

Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory

学习用户感知的回忆:长期对话记忆中的个性化检索

ZhiShu Jiang, Haibo Liu, Xin Shen, Guanqiang QI, Chenxi Miao, Weikang Li, Liwei Qian, Xin Pei, Jizhou Huang

机构 * Baidu Inc.(百度公司) The University of Queensland(昆士兰大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 提出PPRO框架,通过用户画像引导的排序和基于GRPO的查询重写,实现个性化记忆检索,在LoCoMo和LongMemEval-S上取得一致提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01814 2026-07-03 cs.AI 新提交 70%

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM:面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School(清华深圳国际研究生院生物医药与健康工程研究院) Chinese Medicine Guangdong Laboratory(广东省中医药实验室) Beijing Normal University(北京师范大学) First Hospital of Hebei Medical University(河北医科大学第一医院) Lishui Hospital of Zhejiang University(浙江大学丽水医院) XiaoMing TCM Hospital(小明中医医院)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出MMIR-TCM框架,结合多模态大模型、记忆增强分割与检索增强生成,解决中医舌诊中的主观性和语义鸿沟问题,在MedTCM数据集上优于GPT-4o等模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01605 2026-07-03 cs.DB 新提交 67%

pykci: A Compact Urban Knowledge Graph for Semantic and Spatial Queries using LLMs

pykci: 一个用于利用大语言模型进行语义和空间查询的紧凑城市知识图谱

Huynh Duc An Son Nguyen, Lukas Arzoumanidis, Youness Dehbi

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 提出pykci系统,将CityGML 2.0数据集转换为Neo4j紧凑城市知识图谱,通过大语言模型实现自然语言查询,支持语义和空间查询,减少幻觉并提供可审计来源。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01523 2026-07-03 cs.LG cs.AI cs.CL 新提交 67%

Multi-Head Recurrent Memory Agents

多头递归记忆智能体

Jiatong Li, Samuel Yeh, Sharon Li

机构 * Department of Computer Science, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)

专题命中 长上下文与记忆 :LLM(abstract_cn);分类 cs.CL、cs.AI、cs.LG

AI总结 针对递归记忆智能体在长上下文中性能退化问题,提出多头递归记忆(MHM)框架,通过分阶段选择-更新策略隔离记忆头,显著提升记忆保持率和端到端准确性。

Comments 19 pages, 11 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.02303 2026-07-03 cs.AI 新提交 57%

A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets

线性注意力中的海马体:为循环状态遗忘的内容提供精确记忆

Wanyun Cui

机构 * Shanghai University of Finance and Economics(上海金融学院)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI

AI总结 针对线性注意力模型因固定大小循环状态导致早期事实被覆盖、精确回忆退化的问题,提出海马体线性注意力(HOLA),通过添加有界精确KV缓存作为互补记忆系统,实现半参数化测试时记忆,在多项基准上取得显著提升。

Comments 12 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.01775 2026-07-03 cs.LG 新提交 57%

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Set Diffusion: 在自回归与扩散之间插值令牌顺序以实现快速灵活的解码

Marianne Arriola, Volodymyr Kuleshov

专题命中 长上下文与记忆 :language model(abstract);分类 cs.LG

AI总结 提出Set Diffusion模型,通过将似然参数化为灵活位置和长度的令牌集,并设计集因果扩散架构,支持任意顺序解码和KV缓存更新,在数学推理、摘要和无条件生成上优于先前的扩散语言模型。

Comments ICML 2026. We provide the code at https://github.com/kuleshov-group/setdlms

详情

展开后加载摘要…

URL PDF HTML 收藏