arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-05-26 至 2026-05-26 共收录 663 信号源:cs.CL, cs.AI, cs.LG

1. 长上下文与记忆 37 篇

2512.05765 2026-05-26 cs.AI cs.LG 87%

AGI Requires a Coordination Layer on Top of Pattern Repositories

AGI 需要在模式存储库之上建立协调层

Edward Y. Chang

机构 * Department of Computer Science, Stanford University(斯坦福大学计算机科学系)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文提出大型语言模型(LLM)并非AGI的死胡同,而是缺少系统2协调层,通过UCCT和RCA实现语义锚定与因果验证,并设计MACI多智能体协调栈,实验表明自适应控制优于静态提示。

Comments 15 pages, 5 figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25944 2026-05-26 cs.CV cs.AI 85%

EchoPilot: Training-Free Ultrasound Video Segmentation via Scale-Space Semantic Prompting and Reliability-Gated Memory

EchoPilot: 通过尺度空间语义提示和可靠性门控记忆实现无训练超声视频分割

Ruiqiang Xiao, Zhaohu Xing, Yijun Yang, Zhenyan Han, Weiming Wang, Kaishun Wu, Lei Zhu

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)) Third Affiliated Hospital of Sun Yat-Sen University(中山大学第三附属医院) Hong Kong Metropolitan University(香港 Metropolitan 大学)

专题命中 长上下文与记忆 :prompting(title,abstract);language model(abstract);foundation model(abstract);分类 cs.AI

AI总结 提出EchoPilot,一种无需训练、仅需单点点击和类别名称的超声视频分割框架,通过尺度空间语义提示解决初始化歧义,并引入可靠性门控记忆减少传播漂移,在多个数据集上达到最优性能。

Comments Early accepted to MICCAI 2026. Project page: https://keeplearning-again.github.io/EchoPilot/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25680 2026-05-26 cs.CL cs.AI 84%

Simulating Human Memory with Language Models

用语言模型模拟人类记忆

Qihan Wang, Nicholas Tomlin, Michael Hu, Brian Dillon, Tal Linzen

机构 * NYU(纽约大学) UMass Amherst(马萨诸塞大学阿姆赫斯特分校)

专题命中 长上下文与记忆 :language model(title,abstract);prompting(abstract);分类 cs.CL、cs.AI

AI总结 本研究通过心理学经典记忆实验对比语言模型与人类记忆,发现未经调优的模型记忆优于人类,但通过提示策略和压缩器可使模型遗忘方式更接近人类,从而在下游教育任务中成为更有效的用户模拟器。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.08426 2026-05-26 cs.CL cs.AI cs.CV 82%

Prism: Spectral-Aware Block-Sparse Attention

Prism: 频谱感知的块稀疏注意力

Xinghao Wang, Pengyu Wang, Xiaoran Liu, Fangxu Liu, Jason Chu, Kai Song, Xipeng Qiu

机构 * Fudan University(复旦大学) Shanghai Innovation Institute(上海创新研究院) ByteDance Inc.(字节跳动公司) OpenMOSS Team(OpenMOSS团队)

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI

AI总结 针对长上下文LLM预填充中块稀疏注意力的块选择效率瓶颈,提出无训练频谱感知方法Prism,通过高低频分支分解和能量温度校准恢复位置信号,实现纯块级重要性估计,在保持精度同时实现高达5.1倍加速。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24060 2026-05-26 cs.IR 82%

Same Ranking, Different Winner: How Scoring Targets Shape LLM Memory Benchmarks

相同排名,不同赢家:评分目标如何塑造LLM记忆基准

Sugam Panthi, Rabab Abdelfattah

专题命中 长上下文与记忆 :LLM(title,title_cn)

AI总结 本文揭示对话记忆评估中评分目标选择(原始、来源、规范)的隐含性,通过TIAP审计发现目标切换会显著改变基准结论,并建议明确报告评分目标。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25535 2026-05-26 cs.AI 81%

Personalize-then-Store: Benchmarking and Learning Personalized Memory for Long-horizon Agents

个性化再存储:面向长时程智能体的个性化记忆基准测试与学习

Yeonjun In, Wonjoong Kim, Sangwu Park, Kanghoon Yoon, Chanyoung Park

机构 * KAIST(韩国科学技术院)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 针对现有基于大语言模型的记忆系统采用通用静态策略忽略用户间存储上下文差异的问题,提出首个个性化记忆基准PerMemBench和会话级存储门控框架,验证个性化能显著提升记忆保留但精确门控仍是关键挑战。

Comments preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24579 2026-05-26 cs.CL 81%

WhenLoss: Diagnosing Write and Retrieval Bottlenecks in Long-Context Memory Systems

WhenLoss: 诊断长上下文记忆系统中的写入与检索瓶颈

Jiangnan Yu, Kisson Songqi Lin, Jilong Wu

专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL

AI总结 提出四条件诊断协议发现写入阶段是长上下文记忆系统的主要瓶颈,并基于此提出预期预测压缩(EPC)方法,在写入时利用LLM预测未来问题并保留关键证据,显著提升系统性能。

Comments 14 pages, 7 figures, 9 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18657 2026-05-26 cs.LG cs.AI 81%

KairosHope: A Next-Generation Time-Series Foundation Model for Specialized Classification via Dual-Memory Architecture

KairosHope: 一种基于双记忆架构的下一代时间序列基础模型,用于专门分类

Luis Balderas, José Alberto Rodríguez, Miguel Lastra, Antonio Arauzo-Azofra, José M. Benítez

机构 * Department of Computer Science and Artificial Intelligence(计算机科学与人工智能系) DiCITS, iMUDS, DaSCI(DiCITS、iMUDS、DaSCI) University of Granada(格拉纳达大学) Advanced Medical Imaging Group(先进医学成像组) Instituto de Investigación Biosanitaria de Granada (ibs.Granada)(格拉纳达生物医学研究机构(ibs.Granada)) Department of Software Engineering(软件工程系) Department of Rural Engineering(农村工程系) University of Córdoba(科尔多瓦大学)

专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.AI、cs.LG

AI总结 针对标准注意力计算瓶颈和经典统计知识缺失问题,提出KairosHope模型,通过双记忆系统(Titans模块和连续记忆系统CMS)替代二次注意力,并融合深度表示与统计特征的混合决策头,在UCR基准上实现优越分类性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22684 2026-05-26 cs.LG 79%

ChronoVAE-HOPE: Beyond Attention -- A Next-Generation VAE Foundation Model for Specialized Time Series Classification

ChronoVAE-HOPE:超越注意力——面向专业时间序列分类的下一代VAE基础模型

José Alberto Rodríguez, Luis Balderas, Miguel Lastra, Antonio Arauzo-Azofra, José M. Benítez

机构 * Department of Computer Science and Artificial Intelligence(计算机科学与人工智能系) DiCITS iMUDS DaSCI University of Granada(格拉纳达大学) Advanced Medical Imaging Group(先进医学成像组) Instituto de Investigación Biosanitaria de Granada(格拉纳达生物医学研究 institute) Department of Software Engineering(软件工程系) Department of Rural Engineering(农村工程系) University of Córdoba(科尔多瓦大学)

专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.LG

AI总结 提出ChronoVAE-HOPE,一种基于VAE和HOPE块(含Titans模块和连续记忆系统)的下一代时间序列基础模型,通过解耦潜在空间分离趋势与季节成分,在UCR基准分类任务上表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26112 2026-05-26 cs.AI cs.LG 79%

From Model Scaling to System Scaling: Scaling the Harness in Agentic AI

从模型扩展到系统扩展:扩展智能体AI中的“缰绳”

Shangding Gu

机构 * UC Berkeley(伯克利大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);foundation model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出智能体AI的下一个瓶颈是系统扩展而非仅模型扩展,通过设计可审计、持久、模块化和可验证的架构(称为“缰绳”),并研究上下文治理、可信记忆和动态技能路由三大瓶颈,以推动智能体行为从模型能力向长期任务执行转化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25435 2026-05-26 cs.AI 77%

Security of OpenClaw Agents: Fundamentals, Attacks, and Countermeasures

OpenClaw 代理的安全性:基础、攻击与对策

Yuntao Wang, Jianle Ba, Han Liu, Yanghe Pan, Jintao Wei, Zhou Su, Tom H. Luan, Linkang Du

机构 * School of Cyber Science and Engineering, Xi'an Jiaotong University(西安交通大学网络科学与工程学院)

专题命中 长上下文与记忆 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文综述了 OpenClaw 代理的安全挑战,分类分析了技能投毒、认知操纵、多代理级联故障和供应链漏洞等威胁,并总结了现有防御机制。

Comments 17 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11811 2026-05-26 cs.PL cs.AI cs.CL cs.LG 75%

M$^\star$: Every Task Deserves Its Own Memory Harness

M$^\star$:每个任务都应有专属的记忆框架

Wenbo Pan, Shujie Liu, Xiangyang Zhou, Shiwei Zhang, Wanlu Shi, Mirror Xu, Xiaohua Jia

机构 * City University of Hong Kong(香港城市大学) Microsoft(微软)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出M$^\star$方法,通过可执行程序进化自动发现任务优化的记忆系统,在对话、具身规划和专家推理等任务上优于固定记忆基线。

Comments Preprint. Code: https://github.com/wbopan/mstar ; Live demo: https://mstar.wenbo.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.11534 2026-05-26 cs.LG cs.AI 73%

Krause Synchronization Transformers

Krause同步变换器

Jingkun Liu, Yisong Yue, Max Welling, Yue Song

机构 * Shanghai Qi Zhi Institute(上海启智研究院) College of AI, Tsinghua University(清华大学人工智能学院) Shanghai Jiao Tong University(上海交通大学) California Institute of Technology(加州理工学院) University of Amsterdam(阿姆斯特丹大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 提出基于有界置信共识动力学的Krause注意力机制,通过局部化稀疏交互替代全局softmax归一化,缓解表示坍缩和注意力汇聚现象,实现线性复杂度并提升性能。

Comments ICML 2026, Project page: https://jingkun-liu.github.io/krause-sync-transformers/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25869 2026-05-26 cs.CL 70%

Mitigating Provenance-Role Collapse in Long-Term Agents via Typed Memory Representation

通过类型化记忆表示缓解长期智能体中的来源-角色崩溃

Zhengda Jin, Bingbing Wang, Jing Li, Ruifeng Xu, Min Zhang

机构 * Harbin Institute of Technology(哈尔滨工业大学) The Hong Kong Polytechnic University(香港理工大学) Shenzhen Loop Area Institute(深圳河套学院)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL

AI总结 提出MemIR类型化记忆中间表示,通过结构约束实现来源监控,解决长期智能体中因无结构存储导致的来源-角色崩溃问题,在LoCoMo和BEAM-100K上优于现有基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25693 2026-05-26 cs.CL cs.DB cs.MA 70%

From Facts to Insights: A Persona-Driven Dual Memory Framework and Dataset for Role-Playing Agents

从事实到洞察:面向角色扮演智能体的角色驱动双记忆框架与数据集

Rongsheng Zhang, Ruofan Hu, Weijie Chen, Jiji Tang, Junnan Ren, Wanying Wu, Xunuoyan Chen, Tangjie Lv, Tao Jin, Zhou Zhao

机构 * Zhejiang University(浙江大学) Fuxi AI Lab, Netease Inc.(复活AI实验室,网易公司)

专题命中 长上下文与记忆 :SFT(abstract,abstract_cn);分类 cs.CL

AI总结 针对长期对话中角色扮演智能体因上下文窗口限制而丧失角色一致性的问题,提出角色记忆数据集RoleMemo和双记忆框架DualMem,通过将记忆解耦为事实认知和角色条件洞察,结合监督微调与强化学习,在4B参数模型上超越基于DeepSeek-V3.2的零样本角色无关框架。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25430 2026-05-26 cs.AI 70%

CODESKILL: Learning Self-Evolving Skills for Coding Agents

CODESKILL:学习自进化技能的编码智能体

Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

机构 * Nanyang Technological University(南洋理工大学) Zhejiang University(浙江大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.AI

AI总结 提出CODESKILL框架,通过强化学习从编码智能体轨迹中提取多粒度程序性技能并维护技能库,提升下游任务解决能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.09943 2026-05-26 cs.AI 70%

PathMem: Toward Cognition-Aligned Memory Transformation for Pathology MLLMs

PathMem: 面向病理学多模态大模型的认知对齐记忆转换

Jinyue Li, Yuci Liang, Qiankun Li, Xinheng Lyu, Jiayu Qian, Huabao Chen, Kun Wang, Zhigang Zeng, Anil Anthony Bharath, Yang Liu

机构 * University of Science and Technology of China(中国科学技术大学) Shenzhen University(深圳大学) Nanyang Technological University(南洋理工大学) Imperial College London(伦敦帝国学院) Huazhong University of Science and Technology(华中科技大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出PathMem框架,通过长期记忆与工作记忆的动态转换机制,实现结构化病理知识整合与可解释记忆控制,在WSI报告生成和开放诊断任务上达到SOTA。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25092 2026-05-26 cs.IR cs.CL cs.DB 70%

AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory

AgentIR:面向长期对话记忆的工作负载自适应级联检索基座

Aojie Yuan, Haiyue Zhang, Shahin Nazarian

机构 * University of Southern California(南加州大学)

专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);分类 cs.CL

AI总结 针对长期对话记忆中索引动态增长、查询类型变化和亚10毫秒延迟预算的挑战,提出一种基于置信度触发的级联路由策略,通过自适应选择融合方法和是否运行稠密通道,在保持准确率的同时显著降低延迟并提升并发能力。

Comments 29 pages, 9 figures, 12 tables. Main paper 9 pages + comprehensive appendix (proof, GPU kernels, full per-dataset BEIR/LongMemEval/LoCoMo tables, cascade router C++ API, 6 robustness experiments, FAQ, failure-case catalog)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24879 2026-05-26 cs.LG math.OC 70%

Efficient DP-SGD for LLMs with Randomized Clipping

基于随机裁剪的高效DP-SGD用于大语言模型

Enayat Ullah, Sai Aparna Aketi, Devansh Gupta, Huanyu Zhang, Meisam Razaviyayn

机构 * Meta Platforms Inc(Meta平台公司) University of Southern California(南加州大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出DP-SGD-RC算法,利用随机迹估计(Hutchinson和Hutch++)降低每样本梯度范数估计的内存开销,在保持隐私保证的同时减少内存和计算复杂度。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24842 2026-05-26 cs.CL cs.CY 70%

Translators as Invisible Teachers of AI: Copyright, Translation Memory, and the Political Economy of Linguistic Data

译者作为人工智能的无形教师:版权、翻译记忆库与语言数据的政治经济学

Masaru Yamada

机构 * College and Graduate School of Intercultural Communication, Rikkyo University(文化交流研究生院,立命馆大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文研究译者劳动如何转化为人工智能的基础数据资本,提出“无消费的挪用”和“译者的无形教师化”两个概念,并探讨版权框架下的数据供应链与再分配设计方向。

Comments 13 pages; comments welcome

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22337 2026-05-26 cs.AI 70%

Meta-Soft: Leveraging Composable Meta-Tokens for Context-Preserving KV Cache Compression

Meta-Soft: 利用可组合元标记实现上下文保持的KV缓存压缩

Wei Luo, Yi Huang, Songchen Ma, Huanyu Qu, Jiang Cai, Mingkun Xu

机构 * Guangdong Institute of Intelligence Science and Technology(广东智能科学与技术研究院) University of Macau(澳门大学) Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)) Hong Kong University of Science and Technology(香港科技大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出Meta-Soft动态压缩框架,通过可学习正交基矩阵和Gumbel-Softmax选择网络合成元标记,结合注意力流整合机制保留丢弃上下文信息,解决KV缓存压缩中的信息丢失和上下文断裂问题。

Comments 9 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24468 2026-05-26 cs.AI 70%

SAM: State-Adaptive Memory for Long-Horizon Reasoning Agent

SAM:面向长程推理智能体的状态自适应记忆

Yuyang Hu, Hongjin Qian, Shuting Wang, Jiongnan Liu, Ziliang Zhao, Jiejun Tan, Zheng Liu, Zhicheng Dou

机构 * GSAI, Renmin University of China(GSAI,中国人民大学) Beijing Academy of Artificial Intelligence(北京人工智能研究院)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出状态自适应记忆框架SAM,通过紧凑记忆线索和原始轨迹页面实现意图驱动的信息重建,无需重新训练基础模型,在多个基准上超越强基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.11941 2026-05-26 cs.CV cs.AI 70%

DynaPURLS: Dynamic Refinement of Part-Aware Representations for Skeleton-Based Zero-Shot Action Recognition

DynaPURLS: 基于骨架的零样本动作识别中部分感知表示的动态细化

Jingmin Zhu, Anqi Zhu, James Bailey, Jun Liu, Hossein Rahmani, Mohammed Bennamoun, Farid Boussaid, Qiuhong Ke

机构 * Monash University(莫纳什大学) Lancaster University(兰卡斯特大学) University of Western Australia(西澳大学)

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出DynaPURLS框架,通过多尺度视觉-语义对应和动态细化模块,解决骨架零样本动作识别中的领域偏移问题,在三个基准数据集上取得最优结果。

Comments Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25411 2026-05-26 cs.CR cs.SC 67%

Heimdall: Formally Verified Automated Migration of Legacy eBPF Programs to Rust

Heimdall: 形式化验证的遗留 eBPF 程序到 Rust 的自动迁移

Vishnu Asutosh Dasu, Monika Santra, Md Rafi Ur Rashid, Ashish Kumar, Saeid Tizpaz-Niari, Gang Tan

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 本文提出 Heimdall,一个利用大语言模型将遗留 libbpf C 程序自动翻译为 Aya Rust 的管道,通过静态分析和符号执行确保迁移后程序行为等价,并修复了 eBPF 程序中六类源级漏洞,包括未报告的信息泄露。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.14262 2026-05-26 cs.AR 67%

ABI: A tightly integrated, unified, sparsity-aware, reconfigurable, compute near-register file/cache GPU architecture with light-weight softmax for deep learning, linear algebra, and Ising compute

ABI: 一种紧密集成、统一、稀疏感知、可重构、近寄存器文件/缓存计算的GPU架构,配备轻量级softmax,用于深度学习、线性代数和伊辛计算

Siddhartha Raman Sundara Raman, Jaydeep P. Kulkarni

专题命中 长上下文与记忆 :large language model(abstract);language model(abstract)

AI总结 提出一种紧密集成的近内存GPU架构,通过自定义稀疏感知电路和轻量级softmax电路,在CNN、GCN、线性规划、大语言模型和伊辛工作负载上实现6-16倍加速和6-13倍能效提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24684 2026-05-26 cs.LG cs.AI 62%

Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs

超越聚合困境:多模态图的先验保持解耦学习

Hao Yan, Xuanru Wang, Jun Yin, Shirui Pan, Senzhang Wang, Chengqi Zhang

机构 * School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院) Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University(香港理工大学数据科学与人工智能系) School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院)

专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 针对多模态属性图学习中强制聚合导致性能反转的聚合困境,提出解耦双路径架构SUPRA,通过保持先验特征的独立性和轻量级共享GNN捕获结构协同,并辅以深度监督缓解梯度饥饿,实现SOTA性能且显著降低计算开销。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24411 2026-05-26 cs.AI cs.LG 62%

The Model Is Not the Product: A Dual-Pillar Architecture for Local-First Psychological Coaching

模型并非产品:面向本地优先心理辅导的双支柱架构

Alexander Mihalcea

机构 * iOS application(iOS应用)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出Psych LM,一种基于本地优先架构的iOS应用,通过自动记忆语料库和检索增强生成实现近无限上下文窗口,在移动设备上提供可靠的上下文感知心理辅导。

Comments 10 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24869 2026-05-26 cs.CL 57%

Lngram: N-gram Conditional Memory in Latent Space

Lngram: 潜在空间中的N-gram条件记忆

Yunao Zheng, Guoyang Xia, Xiaojie Wang, Lei Ren

机构 * Beijing University of Posts and Telecommunications (BUPT)(北京邮电大学) Li Auto Inc.(Li Auto公司)

专题命中 长上下文与记忆 :language model(abstract);分类 cs.CL

AI总结 提出Lngram,一种在潜在空间中学习离散符号并执行N-gram查找的条件记忆模块,以解耦检索与骨干网络,提升长上下文语言建模和跨模态任务性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.25799 2026-05-26 cs.CV 50%

Addressing Exacerbated Attention Sink for Source-Free Cross-Domain Few-Shot Learning

应对源自由跨域小样本学习中加剧的注意力汇聚问题

Shuai Yi, Yixiong Zou, Yuhua Li, Ruixuan Li

机构 * Huazhong University of Science and Technology(华中科技大学)

专题命中 长上下文与记忆 :language model(abstract)

AI总结 针对跨域小样本学习中标准微调加剧注意力汇聚导致判别性下降的问题,提出基于令牌动态重加权的方法抑制简单令牌依赖并增强困难令牌学习,实现新最优性能。

Comments Accepted by CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 推理与问题求解 104 篇

2605.25954 2026-05-26 cs.LG cs.AI 92%

Step-TP: A Grounded, Step-Level Dataset with Chain-of-Thought Reasoning for LLM-Guided Tensor Program Optimization

Step-TP: 一个基于步骤级、带有思维链推理的 LLM 引导张量程序优化数据集

Mengfan Liu, Da Zheng, Junwei Su, Chuan Wu

机构 * The University of Hong Kong(香港大学) University of Science and Technology of China(中国科学技术大学)

专题命中 推理与问题求解 :LLM(title,title_cn);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 为解决 LLM 在张量程序优化中缺乏可验证步骤级监督的问题,提出 Step-TP 数据集,通过结构化思维链推理和原子步骤监督实现可靠的多步优化。

详情

展开后加载摘要…

URL PDF HTML 收藏