arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-05-20 至 2026-05-20 共收录 396 信号源:cs.CL, cs.AI, cs.LG

1. 领域大模型 28 篇

2605.20176 2026-05-20 cs.CL 70%

ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning

ClinSeekAgent: 自动化多模态证据检索以实现代理临床推理

Juncheng Wu, Letian Zhang, Yuhan Wang, Haoqin Tu, Hardy Chen, Zijun Wang, Cihang Xie, Yuyin Zhou

机构 * UC Santa Cruz(加州大学圣克ruz分校)

专题命中 领域大模型 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出ClinSeekAgent,一种自动化代理框架,用于动态多模态证据检索,旨在从异构来源主动检索、迭代规划和综合多模态证据,从而提升临床决策支持。

Comments 24 pages, 9 figures; Project Page: https://ucsc-vlaa.github.io/ClinSeekAgent/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19366 2026-05-20 cs.LG 70%

Accurate, Efficient, and Explainable Deep Learning Approaches for Environmental Science Problems

准确、高效且可解释的深度学习方法用于环境科学问题

Jimeng Shi

机构 * College of Engineering and Computing(工程与计算学院)

专题命中 领域大模型 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出三种针对复杂环境科学问题的深度学习方法:用于海岸河流洪水预测的WaLeF模型、用于全球天气预测的CoDiCast模型以及用于环境科学科学问答的Hypercube-RAG方法,旨在提高环境智能的准确性、效率和可解释性。

Comments 161 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.06077 2026-05-20 cs.LG cs.IR 70%

Make It Long, Keep It Fast: End-to-End 10K Long User Behavior Sequence Modeling for Billion-Scale Douyin Recommendation

让序列变长,让速度保持快速:面向十万个用户行为序列的端到端推荐系统

Lin Guan, Jia-Qi Yang, Zhishan Zhao, Beichuan Zhang, Bo Sun, Xuanyuan Luo, Jinan Ni, Xiaowen Li, Yuhang Qi, Zhifang Fan, Hangyu Wang, Qiwei Chen, Yi Cheng, Feng Zhang, Xiao Yang

机构 * ByteDance Beijing China(字节跳动北京中国) ByteDance Shanghai China(字节跳动上海中国) ByteDance San Jose CA USA(字节跳动加州圣何塞 USA) ByteDance Hangzhou Zhejiang China(字节跳动杭州浙江中国)

专题命中 领域大模型 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出了一种端到端的推荐系统,能够处理长达10000个用户行为序列,通过引入堆叠的目标到历史交叉注意力机制、请求级别批量处理策略以及长度外推训练策略,实现了在大规模Douyin推荐中的高效长序列建模。

Comments WWW 2026. This work studies end-to-end 10K-scale long user behavior sequence modeling for billion-scale industrial recommendation on Douyin

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18764 2026-05-20 cs.IR cs.AI 70%

From Intent to AI Pipelines: A Controlled Agentic Framework for Non-AI Expert Scientists

从意图到AI流水线:一种受领域驱动的可控代理框架,用于非AI专家科学家

Hyacinth Ali, Jessie Galasso-Carbonnel, Houari Sahraoui

机构 * University of Montreal(蒙特利尔大学) McGill University(麦吉尔大学)

专题命中 领域大模型 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出DDAP框架,通过分阶段交互帮助非AI专家科学家系统构建AI流水线及其实现代码,展示了可控代理框架在生成竞争性AI流水线方面的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20168 2026-05-20 cs.DL cs.DB 67%

One in Eight OpenAlex Abstracts Has Integrity Issues

《OpenAlex中八分之一的摘要存在诚信问题》

Seorin Kim, Vincent Holst, Vincent Ginis

专题命中 领域大模型 :large language model(abstract);language model(abstract)

AI总结 研究评估了OpenAlex中10,000个随机抽取的英文期刊摘要的完整性,发现12%的摘要存在诚信问题,主要问题包括内容不足和元数据位置错误,并讨论了对下游研究的影响及未来社区门户的建设。

Comments 10 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19745 2026-05-20 stat.OT 67%

Making Uncertainty Visible: Multiverse Analysis for Robust Computational Social Science

使不确定性显现:用于稳健计算社会科学的多元宇宙分析

Maximilian Linde, Jun Sun, Paul Balluff, Danica Radovanović, Chung-hong Chan

专题命中 领域大模型 :large language model(abstract);language model(abstract)

AI总结 本文通过案例研究展示多元宇宙分析如何增强计算社会科学研究在面对替代方法学决策时的稳健性和透明性,通过分析三个使用贝叶斯分析、网络生成建模和机器学习(含或不含大语言模型)的社会科学研究,揭示了不同方法学决策组合对实证发现的影响,并指出展示导致计算失败的方法组合是进行多元宇宙分析的动机。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19207 2026-05-20 cs.CV cs.AI cs.LG 62%

Quantized Machine Learning Models for Medical Imaging in Low-Resource Healthcare Settings

用于低资源医疗环境的量化机器学习模型:医学影像

Sumanth Meenan Kanneti, Aryan Shah

机构 * Georgia State University(佐治亚州立大学)

专题命中 领域大模型 :post-training(abstract);分类 cs.AI、cs.LG

AI总结 本文提出了一种多策略压缩框架,用于MRI图像中的脑肿瘤分类,通过量化感知训练、从DenseNet-101教师模型到紧凑DenseNet-32学生模型的知识蒸馏以及轻量MobileNetV2骨干网络上的Float16后训练量化,实现了在低资源医疗环境中高效且准确的脑肿瘤筛查。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19902 2026-05-20 cs.LG q-bio.QM 57%

Hierarchical Contrastive Learning for Multi-Domain Protein-Ligand Binding

多领域蛋白质-配体结合的分层对比学习

Shuo Zhang, Rongqi Hong, Huifeng Zhang, Jian K. Liu

机构 * University of Birmingham, UK(英国伯明翰大学)

专题命中 领域大模型 :foundation model(abstract);分类 cs.LG

AI总结 本研究提出HCLBind框架,通过分层对比学习方法,解决多领域蛋白质-配体结合亲和力预测问题,核心方法是分离几何表示学习与亲和力回归,并采用新颖的分层诱饵策略,结合领域门控图注意力网络和跨模态注意力,提升领域界面优先级,实验表明HCLBind能有效学习判别界面特征并提供鲁棒的不确定性估计。

Comments Accepted by ISBRA2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19133 2026-05-20 cs.CV cs.AI 57%

Knowing When Not to Predict: Self Supervised Learning and Abstention for Safer DR Screening

知道何时不进行预测:用于更安全糖尿病视网膜病变筛查的自监督学习与退避

Muskaan Chopra, Lorenz Sparrenberg, Jan H. Terheyden, Rafet Sifa

机构 * Rheinische Friedrich-Wilhelms-Universität Bonn(莱茵-威斯巴登大学波恩分校) University Hospital Bonn - Department of Ophthalmology(波恩大学医院眼科部门) Fraunhofer IAIS(弗劳恩霍夫研究所) Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)

专题命中 领域大模型 :pretraining(abstract);分类 cs.AI

AI总结 本文研究了自监督学习预训练长度对校准置信度和基于置信度的退避策略的影响,发现预训练长度对选择性预测有积极影响,但过长预训练并不总能提高可靠性,强调了退避意识评估的重要性。

Comments Accepted at IJCAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19866 2026-05-20 cs.CV 50%

Structured Layout Priors for Robust Out-of-Distribution Visual Document Understanding

用于鲁棒性文档理解的结构化布局先验

Peter El Hachem, Ahmed Nassar, A. Said Gurbuz, Christoph Auer, Peter W. J. Staar

机构 * ETH Zurich(苏黎世联邦理工学院) IBM Research(IBM研究院)

专题命中 领域大模型 :language model(abstract)

AI总结 本文提出了一种结构化布局先验,通过在解码器之外运行轻量级RT-DETR检测器,将检测结果转换为解析器的DocTags词汇,并注入到提示中,以解决文档布局解析中的两跳瓶颈问题,从而提升文档理解的鲁棒性。

Comments 18 pages, 7 figures. Main text: 9 pages (4 figures); Appendix: 9 pages (3 figures)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.12320 2026-05-20 cs.CV 50%

Contrastive Learning under Noisy Temporal Self-Supervision for Colonoscopy Videos

在噪声时间自监督下利用对比学习进行结肠镜视频处理

Luca Parolari, Pietro Gori, Lamberto Ballan, Carlo Biffi, Loic Le Folgoc

机构 * Department of Mathematics, University of Padova, Padova, Italy(帕多瓦大学数学系) LTCI, Telecom Paris, Institut Polytechnique de Paris, Palaiseau, France(巴黎电信学院) Cosmo Intelligent Medical Devices, Dublin, Ireland(都柏林智能医疗设备公司)

专题命中 领域大模型 :foundation model(abstract)

AI总结 本文提出一种在噪声时间自监督下利用对比学习进行结肠镜视频处理的方法,通过利用结肠镜检查的顺序流程来推导自监督关联,引入噪声感知的对比损失以处理噪声关联,从而在多项下游任务中取得了优于现有自监督和监督基线方法的性能。

Comments Accepted to MICCAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19275 2026-05-20 stat.AP 50%

Open-Weight LLMs Are Often Competitive with Commercial APIs for Political Science Text Classification

开放权重大语言模型在政治科学文本分类中常与商业API竞争

Hanno Hilbig

专题命中 领域大模型 :LLM(abstract)

AI总结 研究探讨了本地开放权重模型在政治科学文本分类任务中是否能替代商业API,通过对比五种本地模型与四种商业API模型,发现本地模型在简单任务中表现竞争,但在复杂任务中商业API仍有优势,但整体上本地模型是可行的替代方案。

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.18179 2026-05-20 cs.CY 50%

Rethinking the A in STEAM: Insights from and for AI Literacy Education

重新思考STEAM中的A:来自和为AI素养教育的洞察

Pekka Mertala, Janne Fagerlund, Tomi Slotte Dufva

专题命中 领域大模型 :language model(abstract)

AI总结 本文重新审视STEAM教育中艺术的角色,强调其在K-12阶段AI素养教育中的重要性,通过语言学、哲学、社会科学和视觉艺术四个领域,探讨AI相关现象并提出有效的教学策略,以促进对AI的全面、公平和可持续理解。

Comments 2 figures

Journal ref CHAPTERS in Education 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 知识编辑与模型理解 29 篇

2601.05437 2026-05-20 cs.CL cs.AI 91%

Tracing Moral Foundations in Large Language Models

在大型语言模型中追溯道德基础

Chenxiao Yu, Bowen Yi, Farzan Karimi-Malekabadi, Suhaib Abdurahman, Jinyi Ye, Shrikanth Narayanan, Yue Zhao, Morteza Dehghani

机构 * Department of Computer Science, University of Southern California(南加州大学计算机科学系) Department of Psychology, University of Southern California(南加州大学心理学系) Center for Computational Language Sciences, University of Southern California(南加州大学计算语言科学中心)

专题命中 知识编辑与模型理解 :large language model(title,abstract);language model(title,abstract);LLM(abstract_cn);pretraining(abstract)

AI总结 本文研究了大型语言模型中道德基础的编码、组织和表达,通过多层方法分析道德基础与人类道德感知的一致性,并发现道德结构在预训练和微调过程中自然形成,且部分解耦。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18812 2026-05-20 cs.LG cs.CL cs.IR 90%

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

PASC:面向多阶段NLP和LLM流水线的管道感知置信区间

Varun Kotte

机构 * Independent Researcher(独立研究者)

专题命中 知识编辑与模型理解 :LLM(title,title_cn);分类 cs.CL、cs.LG

AI总结 本文提出PASC,一种面向多阶段NLP和LLM流水线的管道感知置信区间方法,通过联合覆盖保证提升多阶段流水线的置信区间性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19220 2026-05-20 cs.CL cs.AI cs.LG 89%

Position: Uncertainty Quantification in LLMs is Just Unsupervised Clustering

位置:在LLM中的不确定性量化仅仅是无监督聚类

Tiejin Chen, Longchao Da, Xiaoou Liu, Hua Wei

机构 * School of Computing(计算学院) Augmented Intelligence, Arizona State University(智能增强与亚利桑那州立大学)

专题命中 知识编辑与模型理解 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文指出,当前LLM的不确定性量化方法本质上是无监督聚类算法,无法有效评估模型的外部正确性,导致无法检测出自信但错误的回答。文章提出了改进的不确定性量化方法,以确保模型的自信度能可靠地反映现实。

Comments Accepted by ICML 2026 Position Paper Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.18796 2026-05-20 cs.LG cs.CL 88%

UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

UCCI:用于成本最优LLM级联路由的校准不确定性

Varun Kotte

机构 * Independent Researcher(独立研究者)

专题命中 知识编辑与模型理解 :LLM(title,title_cn);分类 cs.CL、cs.LG

AI总结 本文提出UCCI,一种以校准为核心的路由方法,通过异质回归将token层面的边际不确定性映射到查询级误差概率,并通过约束成本最小化选择升级阈值。在三个显式假设下,阈值策略在校准分数上是成本最优的,异质校准在期望校准误差(ECE)上实现O(n^{-1/3})的样本复杂度。在75000个生产命名实体识别工作负载上,UCCI将推理成本降低了31%(95%CI:[27%, 35%]),同时将ECE从0.12降低到0.03。

Comments 9 pages, 2 figures, 4 tables. Code: https://github.com/varunkotte6/ucci

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19270 2026-05-20 cs.CL 87%

DECOR: Auditing LLM Deception via Information Manipulation Theory

DECOR:通过信息操纵理论审计大语言模型的欺骗行为

Linyue Cai, Samuel Yeh, Jwala Dhamala, Rahul Gupta, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系) Amazon(亚马逊)

专题命中 知识编辑与模型理解 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出DECOR框架,基于信息操纵理论,通过细粒度审计实现对大语言模型欺骗行为的有效检测,展示了其在单轮和多轮欺骗检测中的优越性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20084 2026-05-20 cs.CL cs.AI 82%

BalanceRAG: Joint Risk Calibration for Cascaded Retrieval-Augmented Generation

BalanceRAG: 为级联检索增强生成进行联合风险校准

Zijun Jia, Yuanchang Ye, Sen Jia, Yiyao Qian, Haoning Wang, Baojie Chen, Diyin Tang, Jinsong Yu, Zhiyuan Wang

机构 * Beihang University(北航) Shenzhen Institute of Advanced Technology(深圳先进技术研究院) Zhejiang University of Finance & Economics(浙江财经大学) University of Electronic Science and Technology of China(电子科技大学)

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出BalanceRAG,一种用于级联检索增强生成的联合风险校准方法,通过在二维晶格上确定安全操作点,实现风险自适应的阈值校准,从而在控制系统级错误率的同时保留更多示例,并扩展到多风险校准。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19735 2026-05-20 cs.CL cs.AI 82%

ContextRAG: Extraction-Free Hierarchical Graph Construction for Retrieval-Augmented Generation

ContextRAG: 无提取的分层图构建用于检索增强生成

Roman Prosvirnin, Sergei Kuznetsov, Seungmin Jin

机构 * HSE University(俄罗斯高等经济大学)

专题命中 知识编辑与模型理解 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出ContextRAG,一种无需大型语言模型提取实体和关系的图检索增强生成系统,通过残差量化k均值和Formal Concept Analysis方法构建模糊概念图,在130个任务的UltraDomain子集中实现了33.6%的F1分数,显著优于传统方法。

Comments Preprint. 6 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20105 2026-05-20 cs.LG 79%

Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

最优表示尺寸:预训练和线性探测的高维分析

Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe

机构 * Gatsby Computational Neuroscience Unit(Gatsby计算神经科学单元) University College London(伦敦大学学院) Institute of Science and Technology Austria(奥地利科学与技术研究所) Sainsbury Wellcome Centre(萨金斯-韦尔科姆中心)

专题命中 知识编辑与模型理解 :pretraining(title,abstract);分类 cs.LG

AI总结 本文研究了预训练和线性探测过程中的最优表示尺寸问题,通过高维分析揭示了表示维度、未标记和标记样本数量以及任务对齐性对训练和泛化误差的影响,提出了在不同预训练和下游数据条件下优化表示尺寸的条件。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.22161 2026-05-20 cs.LG 79%

Causal Evidence that Language Models use Confidence to Drive Behavior

语言模型使用置信度驱动行为的因果证据

Dharshan Kumaran, Nathaniel Daw, Simon Osindero, Petar Veličković, Viorica Patraucean

机构 * Google DeepMind(谷歌DeepMind) Princeton University(普林斯顿大学)

专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.LG

AI总结 研究探讨了语言模型是否利用置信度信号来控制行为,如决定回答或 abstain,通过四个阶段实验发现模型使用多维内部置信表示和阈值策略来实现 abstention,揭示了结构化的元认知控制机制。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.10292 2026-05-20 cs.CV cs.AI 79%

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

自适应残差更新引导用于大型视觉语言模型中低开销幻觉抑制

Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

机构 * Aalto University, Espoo, Finland(艾尔沃大学,芬兰 Espoo) Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China(深圳先进技术研究院,中国科学院,深圳)

专题命中 知识编辑与模型理解 :language model(title,abstract);分类 cs.AI

AI总结 本文提出RUDDER框架,通过创建持久视觉锚点来对抗视觉稀释,利用模型的prefill残差更新提取鲁棒证据方向,并通过自适应门控机制注入解码过程,有效抑制幻觉并保持高吞吐量。

Comments Accepted by ICML 2026; Code available at: https://github.com/Akko000/RUDDER-Residual-Update-Directed-DEcoding-Regulation-

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19792 2026-05-20 cs.CV 78%

Mechanisms of Object Localization in Vision-Language Models

视觉-语言模型中物体定位的机制

Timothy Schaumlöffel, Martina G. Vilas, Gemma Roig

机构 * Goethe University Frankfurt, Germany(法兰克福歌德大学,德国) The Hessian Center for AI, Germany(黑森人工智能中心,德国)

专题命中 知识编辑与模型理解 :language model(title,abstract)

AI总结 本文研究了视觉-语言模型中物体定位的核心机制,通过分析LLaVA-1.5和InternVL-3.5等模型,揭示了定位依赖于容器化机制,并发现只有少量注意力头参与分类和定位任务,为未来模型设计提供了指导。

Comments Accepted at CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19462 2026-05-20 cs.LG cs.AI 76%

Quantifying the Pre-training Dividend: Generative versus Latent Self-Supervised Learning for Time Series Foundation Models

量化预训练红利:生成与潜在自监督学习在时间序列基础模型中的应用

Noam Major, Kathy Razmadze, Yoli Shavit

机构 * Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)

专题命中 知识编辑与模型理解 :foundation model(title);分类 cs.AI、cs.LG

AI总结 本文研究了自监督学习在时间序列中的应用,比较了生成范式与潜在对齐架构,发现预训练红利在异常检测和分类任务中显著提升,但在预测任务中效果有限,同时表明表示质量与数据来源无关,且在适度的架构深度下趋于稳定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19374 2026-05-20 cs.CV cs.AI cs.LG 73%

Concept-Guided Noisy Negative Suppression for Zero-Shot Classification and Grounding of Chest X-Ray Findings

基于概念的噪声负样本抑制用于零样本分类和胸片发现的 grounding

Chenyu Lian, Hong-Yu Zhou, Chun-Ka Wong, Jing Qin

机构 * The Center for Smart Health, School of Nursing, the Hong Kong Polytechnic University, Hong Kong, China(香港理工大学智能健康中心,护理学院,中国香港) Research Institute for Smart Ageing, the Hong Kong Polytechnic University, Hong Kong, China(香港理工大学智能老龄化研究 institute,中国香港) School of Biomedical Engineering, Tsinghua Medicine, Tsinghua University, Beijing, China(清华大学生物医学工程学院,清华大学,北京,中国) Queen Mary Hospital, LKS Faculty of Medicine, The University of Hong Kong, Hong Kong, China(香港大学李嘉诚医学院Queen Mary医院,中国香港)

专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出了一种基于概念的噪声负样本抑制框架CoNNS,通过构建层次化概念本体,解决不同患者间相似发现导致的噪声负样本问题,提升零样本理解任务的性能。

Comments Early accepted by MICCAI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.08143 2026-05-20 cs.LG cs.AI 73%

HoReN: Normalized Hopfield Retrieval for Large-Scale Sequential Model Editing

HoReN:用于大规模序列模型编辑的归一化Hopfield检索

Yuan Fang, Yi Xie, Xuming Ran

机构 * IXL Learning, Inc(IXL学习公司) Technical University of Munich(慕尼黑技术大学) National University of Singapore(新加坡国立大学)

专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出HoReN,一种基于代码本的参数保持编辑器,通过在单个MLP层中引入离散键值记忆,实现了在大规模序列模型编辑中的高效检索和更新,同时在多种基准测试中表现出色。

Comments 30 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.20134 2026-05-20 cs.LG 70%

TrajTok: Adaptive Spatial Tokenization for Trajectory Representation Learning

TrajTok: 用于轨迹表示学习的自适应空间令牌化

Zhen Xiong, Shang-Ling Hsu, Cyrus Shahabi

机构 * University of Southern California(南加州大学)

专题命中 知识编辑与模型理解 :foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 本文提出TrajTok,一种通过自适应空间令牌化学习通用轨迹表示的方法,通过多分辨率六边形网格划分和预训练策略,实现了在轨迹相似性搜索、分类、预计到达时间和旅行时间回归等任务上的优异表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14588 2026-05-20 cs.LG 70%

Silent Collapse in Recursive Learning Systems

递归学习系统中的沉默崩溃

Zhipeng Zhang

机构 * China Mobile Research Institute(中国移动研究院) China Mobile GBA (Greater Bay Area) Innovation Institute(中国移动大湾区创新研究院)

专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文研究了递归学习系统中模型内部分布逐渐退化的现象,提出MTR框架通过监测轨迹统计量和调整学习强度来提前预警并防止沉默崩溃。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16200 2026-05-20 cs.LG cs.CV 70%

Feature-Space Smoothing: Certified Robustness of Deep Representations

特征空间平滑:深度表示的认证鲁棒性

Song Xia, Meiwen Ding, Chenqi Kong, Wenhan Yang, Xudong Jiang

机构 * Rapid-Rich Object Search Lab, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(快速-丰富目标搜索实验室,电气电子工程学院,南洋理工大学,新加坡) Pengcheng Laboratory, Shenzhen, China(鹏城实验室,深圳,中国)

专题命中 知识编辑与模型理解 :large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出了一种特征空间平滑(FS)框架,通过在特征表示层面提供认证鲁棒性,以解决深度学习模型对恶意输入的脆弱性问题,核心方法是通过特征平滑保证清洁和对抗特征之间的余弦相似度下界,并引入高斯平滑增强器(GSB)提升编码器的高斯鲁棒性得分,从而提升模型的鲁棒性并保持下游任务性能。

Comments Under review

详情

展开后加载摘要…

URL PDF HTML 收藏