语言大模型 / LLM

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

数据受限语言模型预训练的数据增强

Michael K. Chen, Xikun Zhang, Fan Bai, Zhengding Hu, Zhen Wang

机构 * UC San Diego（加州大学圣地亚哥分校） ； RMIT University（皇家墨尔本理工大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对数据受限下标准自回归预训练严重过拟合的问题，提出三类数据增强方法（token级噪声、序列排列、目标偏移预测），有效降低验证损失并支持数百epoch训练。

Sensory Restoration via Brain-Computer Interfaces: A Scoping Review

通过脑机接口的感觉恢复：统一的2×2框架与融合路线图

Xuan-The Tran

机构 * School of Mechanical Engineering, Vietnam Maritime University（机械工程学院，越南海防大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出一个统一的2×2框架，按侵入性和信号方向分类脑机接口，并定义恢复、替代和增强范式，同时给出近中长期的融合路线图。

SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

SLAI T-Rex：在升腾超级集群上对DeepSeek-V4系列进行全参数训练后优化

Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, Jian Meng, Zhengxuan Lu, Yiting Wang, Yucheng Xie, Tao Guo, Tianxiang Fang, Jing Li, Sihang Chen, Shihao Hong, Chang Liu, Weihua Dai, Zirong Zeng, Ziwei Zhu, Zhuohan Wang, Zhengjun Yue, Igor Vasilyev, Min Liu, Weijian Sun, Xin Chen, Yingmeng Gao, Jinhua Zhou, Taolue Chen, Chenwei Wu, Dong Zhang, Wenlong Jin, Jinmin Xiang, Barkova Maria, Ushakov Anton, Xianfei Jin, Tian Ding, Zhihang Lin, Qian Chen, Linxin Yang, Mingzhe Yang, Bingwei Zhang, Hongzhang Yang, Fangxue Zhang, Shijun Qin, Jie Yu, Cuihua Hu, Tolstykh Vasiliy, Nosov Ivan, Abdullin Amir, Zhicheng Zhou, Xin Zhang, Zhixiong Ning, Xutong Zhao, Junjie Huang, Jiajun Liu, Weiyan Kong, Zheng Zhang, Wenhan Luo, Lin Hu, Yangbo Guo, Li Zeng, Shihao Zhang, Baotian Hu, Min Zhang, Haizhou Li, Zhiquan Luo

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对万亿参数规模MoE模型全参数训练后优化的系统挑战，在升腾NPU超级集群上以DeepSeek-V4为目标工作负载开发分层优化框架，建立CPT和SFT工作流程，提升模型性能，推动复杂推理前沿模型系统发展。

Comments 73 pages, 22 figures, 20 tables

KA2L: A Knowledge-Aware Active Learning Framework for LLMs

KA2L：一种面向大语言模型的基于知识的主动学习框架

Haoxuan Yin, Chen Tang, Yangfan Wang, Lian Yan, Jingchi Jiang

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； Institute for Advanced Algorithms Research（先进算法研究所） ； National Key Laboratory of Smart Farm Technologies（智能农业技术与系统国家重点实验室） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出KA2L框架，通过分析潜在空间评估LLM对特定知识的掌握程度，生成未知问题以提升模型能力，实验表明该方法能有效降低标注和计算成本，并在多个数据集上取得更好性能。

Comments 17 pages, 3 figures. Published in Expert Systems with Applications 333 (2027) 133951

When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition

音频-语言模型在利用多模态上下文进行构音障碍语音识别时的失效问题

Pehuén Moure, Niclas Pokel, Bilal Bounajma, Yingqiang Gao, Roman Boehringer, Longbiao Cheng, Shih-Chii Liu

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建基于SAP数据集的基准，发现现有音频-语言模型无法有效利用构音障碍语音的临床上下文，而LoRA适配方法可将WER降低52%，为包容性ASR提供测试平台。

Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors

双流跨锚校正：接地长文本描述与对象级锚点的域限制

Lingkai Bu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Jinyi Liang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型的长文本描述对象幻觉问题，本文提出双流跨锚校正方法，通过耦合感知流与认知流提升精度，在长文本场景下实现最优性能，且存在域条件性限制。

G-ReAct: Graph-Guided Deep Search via Structure-State Co-Evolution

G-ReAct：基于结构-状态协同演化的图引导深度搜索

Shaoxiong Yang, Mengyuan Zhang, Shaojun Lin, Chao Li, Wei Liu, Kun Shao, Jian Luan

专题命中 指令微调 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出图引导深度搜索框架G-ReAct，通过结构-状态协同演化解决现有LLM深度搜索的上下文遗忘等问题，仅用少量轨迹微调即提升模型在BrowseComp-ZH、XBench上的准确率，且推理时可增强现有LLM性能。

Phantom Transitions in Language Model Fine-Tuning: A Density-Matrix Analysis

语言模型微调中的幻影相变

Vaibhav Prakash, Jayasri Dontabhaktuni

机构 * Mahindra University（马恒达大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究语言模型微调时，正确补全被近义词竞争而失败的现象，通过序参量分解信号与背景拖拽，发现两种失败模式，并揭示相变为幻影，源于softmax读出而非几何相变。

Comments 25 pages, 9 figures

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源

Arjun Pillai, Christian Hoang, Anjelo Jann Laroza

机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。

Comments Under review at Interp4Discovery @ NeurIPS 2026

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

FiLoRA: 专注与忽略LoRA用于可控的特征依赖

Hyunsuk Chung, Soyeon Caren Han, Seungyeon Ji, Jinwoo Kim, Eun-Jung Holden, Kyungreem Han

机构 * University of Melbourne, Melbourne, Australia ； Brain Science Institute, Korea Institute of Science ； Department of Computer Science ； Engineering, Korea University, Seoul, Republic of Korea ； Division of Bio-Medical Science \& Technology, University of Science ； Technology KIST School, Seoul, Republic of Korea 纠错

专题命中 指令微调 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 FiLoRA通过指令条件门控实现对多模态模型内部特征依赖的可控调节，提升模型在虚假特征干预下的鲁棒性。

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。

Matching Accuracy, Different Geometry: Evolution Strategies vs GRPO in LLM Post-Training

匹配精度，不同几何：进化策略与GRPO在LLM后训练中的比较

William Hoy, Binxu Wang, Xu Pan

机构 * University of Miami（迈阿密大学） ； Kempner Institute, Harvard University（哈佛大学肯普纳研究所） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；post-training(title)；分类 cs.LG；language model(comments)

AI总结 本文比较了进化策略（ES）与组相对策略优化（GRPO）在单任务和连续学习设置中的表现，发现ES在单任务精度上可与GRPO匹配，但两者在参数空间更新上存在显著差异，且ES在弱信息方向上能积累较大偏移，同时保持任务性能。

Comments Accepted to Conference on Language Modeling (COLM) 2026

Future Policy Approximation for Offline Reinforcement Learning in LLM Reasoning

为离线强化学习未来政策近似改进数学推理

Minjae Oh, Yunho Choi, Dongmin Choi, Yohan Jo

机构 * Graduate School of Data Science, Seoul National University（首尔大学数据科学研究生院） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出未来政策近似方法，通过估计未来策略来优化离线强化学习中的梯度更新，提升长周期推理任务的稳定性与准确性。

Comments 12 pages

AutoOR: Scalably Post-training LLMs to Autoformalize Operations Research Problems

AutoOR: 一种可扩展的后训练语言模型用于自动形式化运筹学问题

Sumeet Ramesh Motwani, Chuan Du, Aleksander Petrov, Christopher Davis, Philip Torr, Antonio Papania-Davis, Weishi Yan

机构 * The Moonshot Factory（谷歌登月工厂） ； University of Oxford（牛津大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 AutoOR通过合成数据生成与强化学习管道，训练语言模型自动形式化运筹学问题，实现线性、混合整数和非线性优化问题的高效解决，取得六个经典运筹学基准测试的领先或竞争性结果。

Q-First: Most of Attention Needs Only the Query in Disaggregated LLM Decoding

Q-First：在块的最小改动下实现注意力与前馈的并发

WenJie Fan

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 该研究提出Q-First协议，通过交换LLM解码器块的注意力与前馈子层顺序消除依赖，实现并发，验证其精度并训练8种变体证明改动影响有界且符合要求。

Comments 21 pages,5 figures

Selective KV Cache Protection for Noise-Resilient LLM Inference on Analog Compute-In-Memory Systems

面向模拟存算一体系统上抗噪声大语言模型推理的选择性键值缓存保护

Yuannuo Feng, Wenyong Zhou, Yuang Ma, Yizhe Chen, Wenshuai Yao, Yuxin Xie, Ngai Wong, Wang Kang

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 针对模拟存算一体系统上LLM推理的KV缓存易受硬件噪声影响的问题，本文首次开展相关系统研究，提出分层token保护策略，大幅降低噪声下的困惑度并提升编程行利用率。

EgoCITE: Context-Augmented Indexing and Time-Aware Retrieval for Long-Horizon Egocentric Memory

EgoCITE：面向长时程自我中心记忆的上下文增强索引与时序感知检索

Le Zhang, Hao Chen, Vlad Roznyatovskiy, Jianzhong Zhang, Ke Sun

机构 * University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对长时程自我中心记忆系统的索引不可靠、忽略时序意图的问题，提出EgoCITE框架，经多数据集评估，其准确率优于基线且成本显著低于长上下文LLM智能体。

Is Bitcoin A Hedge Against Central Banking? Evidence from AI-Driven Monetary Policy Expectations

比特币是否是中央银行的对冲工具？来自AI驱动的货币政策预期的证据

Maxime L. D. Nicolas, François Sicard, Marion Laboure, Zixin Sun, Anahí Rodríguez-Martínez

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究货币政策叙事对比特币价格的传导作用，区分前瞻性预期与事后利率实施的影响。通过高频率货币政策预期指数揭示比特币对央行信号的敏感性，显示前瞻性鹰派叙事对价格有持续负面影响。

Cross-Model Memory Transfer via Target-Side Reader Adaptation

通过目标侧读取器适配实现跨模型记忆迁移

Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型知识利用的两类方法缺陷，探究Engram式哈希记忆跨模型迁移的关键因素，通过跨模型冻结记忆提取实验，提出双层四分支读取器，实现同模型与跨模型复用差距的缩小，证明Engram可作为可复用外部知识人工制品。

ContextSniper: AntTrail's Token-Efficient Code Memory for Repository-Level Program Repair

ContextSniper: AntTrail的令牌高效代码记忆用于仓库级程序修复

Chiwang Luk, Matin Mohammad Najafi, Zhifeng Jia, Wei Yang, Xiuchang Li, Jinwei Zhu, Yang Ren, Lei Chen, Gao Cong

机构 * Huawei（华为） ； HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ContextSniper，一种令牌高效的代码记忆层，通过精准证据选择、混合检索排序和意图感知上下文门控，在SWE-bench Lite上减少51.5%令牌使用和36.4%成本，修复率仅轻微下降。

Jailbreaking in the Haystack

干草堆中的越狱攻击

Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对长上下文语言模型，提出 NINJA 越狱攻击方法，利用有害目标位置的关键作用，在 HarmBench 基准上提升了多款先进模型的攻击成功率，且该方法低资源、可迁移、难检测、计算最优，揭示了长上下文可引入模型安全漏洞。

Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

回答前看清楚：通过显著性驱动的感知重新对齐减轻LVLMs中的幻觉

Pengxu Chen, Yao Zhu, Guangming Zhu, Jun Sheng, Jincai Huang, Xiangyang Ji, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究针对LVLMs易产生幻觉问题，提出无需训练的SDPR框架，通过显著性驱动注意力重新分配、缓存对齐及先验约束对比解码，整体对齐视觉意识，在多基准测试中优于现有方法，无需额外训练且开销小。

Comments Accepted by ACM Multimedia 2026

Hybrid LLM-Augmented Reinforcement Learning Agents for Complex Sequential Decision Tasks

用于复杂序列决策任务的混合大语言模型增强强化学习智能体

Christophe D. Hounwanou, John Emeka Eze, Yaé Ulrich Gaba

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出混合LLM增强RL智能体，融合LLM规划与RL动作优化，经实验验证其在序列决策任务上优于仅RL、仅LLM的基线方法，为构建更强自主系统提供了新方向。

Comments This submission is withdrawn because the uploaded manuscript does not accurately reflect the intended structure or results. Several components referenced in the text are incomplete or not represented in the PDF, and the current version may mislead readers. The work is therefore withdrawn to maintain clarity of the record

Breaking Planner Integrity Boundary: Enviroment State-Text Injection Attack on LLM-Driven Embodied Agents

当状态成为攻击面：大语言模型驱动的具身智能体中的状态语义注入

Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao, Chi Guo, Keyan Guo, Hongxin Hu

机构 * Wuhan University（武汉大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该文聚焦LLM驱动的具身智能体，梳理其技术演进与现有模型，指出其需结合多类信息完成任务落地后执行，为后续状态语义注入攻击研究奠定基础。

Comments submitted to USENIX Security 2027

Trace, Verify, and Correct: A Training-Free Framework for Spatial Reasoning in Multimodal LLMs

追踪、验证与修正：一种用于多模态大语言模型空间推理的无训练框架

Yang Yang, Jiawei Chen, Tairan Chen, Zhaoxia Yin

机构 * East China Normal University（华东师范大学） ； Zhongguancun Academy（中关村学院） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 推理与问题求解 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL

AI总结 针对多模态大语言模型空间推理的错误传播问题，提出无训练的追踪-验证-修正框架，构建空间证据图并评估证据可靠性，在15种模型-数据集设置下平均准确率达68.94%，优于基线。

Comments 19 pages, 7 figures

Teaching agentic AI to learn expert reasoning for rare disease diagnosis

LiteOdyssey: 一种用于可解释罕见病诊断的轻量级推理AI智能体

Minh-Ha Nguyen, Erica Gray, Bryce A. Schuler, Kevin W. Byram, Chih-Ting Yang, Fan Ma, Hua Xu, Wu-Chen Su, Chao Yan, Wei-Qi Wei, Adam Wright, Lisa Bastarache, Josh F. Peterson, Lingyao Li, Siyuan Ma, Undiagnosed Diseases Network, Rizwan Hamid, Thomas A. Cassini, Cathy Shyr

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出轻量级框架LiteOdyssey，通过人类-AI协作的诊断策略和公共生物医学工具增强单个推理语言模型，在罕见病诊断基准上达到最先进性能，无需微调或多智能体集成。

Comments Updated abalation experiments and layout

Foveated Reasoning: Stateful, Action-based Visual Focusing for Vision-Language Models

聚焦推理：面向视觉语言模型的有状态、基于动作的视觉聚焦

Juhong Min, Lazar Valkov, Vitali Petsiuk, Hossein Souri, Deen Dayal Mohan

机构 * AI Center -- Mountain View, Samsung Electronics（三星电子山景城人工智能中心） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)

AI总结 本文提出Foveated Reasoner，通过整合聚焦与推理机制，提升视觉语言模型在高分辨率图像下的效率与准确性，实验证明其在多种基准测试中表现优异。

Comments ECCV 2026

ReasFlow: Assisting Reasoning-Centric Scientific Discovery in Applied Mathematics via a Knowledge-Based Multi-Agent System

ReasFlow：通过基于知识的多智能体系统助力应用数学中以推理为中心的科学发现

Yutong He, Daibo Li, Guohong Li, Jiahe Geng, Zhengyang Huang, Can Ren, Zekun Zhang, Yifan Liu, Shuchen Zhu, Hengrui Zhang, Boao Kong, Ming Sun, Shu Li, Chenyi Li, Jiang Hu, Kun Yuan, Zaiwen Wen, Pingwen Zhang

专题命中 推理与问题求解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对理论驱动科学发现探索不足的问题，ReasFlow引入以推理为中心的自主智能体系统，通过内部验证循环和知识检索机制减少专家干预，能统一多项科研任务，从最少提示生成高质量论文，在开源基线中表现出色。

Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

Co-RL：多智能体强化学习中多样群体涌现的无监督推理

Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

机构 * University of Exeter（埃克塞特大学） ； ByteDance（字节跳动） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； UC San Diego（加州大学圣迭戈分校） 纠错

专题命中 推理与问题求解 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出Co-RL框架，通过参数不共享的多智能体协作训练，利用同伴奖励减少对真实标注的依赖，提升纯文本及多模态任务的推理性能，缓解训练崩溃与响应同质化问题。

Comments 30 pages, 5 figures, 11 tables

Event-Causal RAG: A Retrieval-Augmented Generation Framework for Long Video Reasoning in Complex Scenarios

事件因果RAG：一种用于长视频复杂场景中长视频推理的检索增强生成框架

Peizheng Yan, Yu Zhao, Liang Xie, Juntong Qi, Mingming Wang, Erwei Yin

机构 * Tianjin Key Lab of Intelligent Unmanned Swarm Tech & System（天津智能集群技术与系统重点实验室） ； Tianjin University（天津大学） ； Institute of Computing and Intelligence（计算与智能研究所） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心） ； Defense Innovation Institute Academy of Military Sciences（国防科技创新研究院） ； School of Future Technology（未来技术学院） ； Shanghai University（上海大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出Event-Causal RAG框架，通过事件因果图和双存储记忆实现长视频推理，优于传统方法，在多事件整合和因果推理任务中表现更优，同时提升内存效率和流式性能。