语言大模型 / LLM

Memorization in Large Language Models in Medicine: Prevalence, Characteristics, and Implications

医学领域大型语言模型中的记忆现象：普遍性、特征与影响

Anran Li, Lingfei Qian, Mengmeng Du, Yu Yin, Yan Hu, Zihao Sun, Yihang Fu, Hyunjae Kim, Erica Stutz, Xuguang Ai, Qianqian Xie, Rui Zhu, Jimin Huang, Yifan Yang, Siru Liu, Yih-Chung Tham, Lucila Ohno-Machado, Hyunghoon Cho, Zhiyong Lu, Hua Xu, Qingyu Chen

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨医学领域大型语言模型的记忆现象，分析其普遍性、特征及对医疗应用的影响。

BloomAPR: A Bloom's Taxonomy-based Framework for Assessing the Capabilities of LLM-Powered APR Solutions

BloomAPR：基于布鲁姆教育目标分类学的框架，用于评估大语言模型驱动的自动程序修复（APR）方案的能力

Yinghang Ma, Jiho Shin, Leuson Da Silva, Zhen Ming, Jiang, Song Wang, Foutse Khomh, Shin Hwei Tan

专题命中 预训练与数据 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 BloomAPR是基于布鲁姆教育目标分类学的动态评估框架，评估了ChatRepair、CigaR等APR方案在不同LLM及布鲁姆分类层级下的漏洞修复能力，发现其存在性能差异并指出基准演进的必要性。

Comments 22 pages, 7 figures, Manuscript submitted to ACM Transactions on Software Engineering and Methodology

Translate-R1: Cost-Aware Translation Tool Use via Reinforcement Learning

Translate-R1：通过强化学习实现成本感知的翻译工具使用

Pratik Jayarao, Chaitanya Dwivedi, Himanshu Gupta, Neeraj Varshney, Adithya M Devraj, Meet Vadera, Priyanka Nigam, Bing Yin

机构 * Amazon Stores Foundation AI（亚马逊商店基金会人工智能） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)；pretraining(abstract)；分类 cs.CL

AI总结 提出一种基于强化学习的门控策略，让LLM自主评估理解能力，仅在必要时调用翻译工具，在22种语言上提升奖励并降低翻译成本。

Comments 14 pages main text plus appendix, 7 figures, 11 tables

RingSQL: Schema-Independent Synthetic Data Generation for Text-to-SQL Reinforcement Learning

RingSQL: 通过不依赖模式的模板生成合成数据以用于文本到SQL推理模型

Marko Sterbentz, Kevin Cushing, Cameron Barrie, Kristian J. Hammond

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 RingSQL通过结合不依赖模式的模板和大语言模型生成，提升文本到SQL模型的准确性和多样性

Comments 23 pages, 12 figures

One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

用一个替代模型欺骗所有：基于CLIP的通用、可迁移且有针对性的对抗攻击

Binyan Xu, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。

Comments 22 pages, 15 figures, 18 tables. To appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2025

GenTrack: Physical Alignment for Robot-Native Motion Generation and Zero-Shot Humanoid Tracking

GenTrack：面向机器人原生运动生成与零样本人形机器人跟踪的物理对齐框架

Zeyu Ling, Xinyao Yu, Renye Yan, Jikang Cheng, Zhanke Wang, Qing Shuai, Changqing Zou

专题命中 预训练与数据 ：post-training(abstract)

AI总结 GenTrack是一种在线生成器-跟踪器框架，通过协同训练缩小重定向参考与机器人原生运动的可执行性差距，在Unitree G1机器人上实现了零样本人形机器人跟踪性能提升。

HermesHFL: Incentive-Compatible Hierarchical Federated Unlearning for Dynamic LLM Fine-Tuning

HermesHFL：用于动态大语言模型微调的激励兼容分层联邦遗忘

Chenxi Sun, Minghui Liwang, Wusi He, Yuhan Su, Zhang Liu, Sai Zou, Wei Ni, Seyyedali Hosseinalipour

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对大语言模型微调中分层联邦遗忘面临的挑战，提出HermesHFL框架，通过参数高效微调支持选择性遗忘等。制定统一优化问题，开发Neogen框架解决，实验表明该框架在模型效用等多方面优于现有基线。

Comments 15pages,8 figures

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

Neural Diversity Regularizes Hallucinations in Language Models

神经多样性调节语言模型的幻觉

Kushal Chakrabarti, Nirmal Balachundhar

机构 * South Park Commons（南公园公馆） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 神经多样性通过解相关并行表示减少语言模型幻觉，结合LoRA适配器与Barlow Twins正则化，提升可靠性并保持准确性。

Journal ref Transactions on Machine Learning Research, 08/2026, ISSN 2835-8856

SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging

SleepVLM：基于视觉语言模型的可解释且规则驱动的睡眠分期

Guifeng Deng, Pan Wang, Mengfan Niu, Jiquan Wang, Shuying Rao, Junyi Xie, Xi'ang Chen, Sha Zhao, Gang Pan, Wanjun Guo, Tao Li, Haiteng Jiang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出SleepVLM，一种基于规则驱动的视觉语言模型，通过多通道PSG波形图像进行睡眠分期，并生成符合AASM评分标准的临床可读解释，在保持高准确率的同时提升可解释性。

How Developers Experience Debugging Unfamiliar Codebases with Code Tours Generated and Evaluated by Local LLMs

开发者使用本地大语言模型生成和评估的代码导航体验陌生代码库调试的研究

Martin Balfroid, Julien Albert, Dzenatan Aliti, Xavier Devroey, Benoît Vanderose

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究探讨开发者使用本地大语言模型生成评估的代码导航调试陌生代码库的体验，明确代码导航组件属性对开发者的影响，为优化代码导航生成与评估提供方向。

DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech

DELTA-TTS：将自回归模型适配为扩散语言模型以实现文本转语音

Junwon Moon, Yejin Lee, Seungbeom Kim, Hoseong Ahn, Sewoong Park, Heeseung Kim, Kyuhong Shim

机构 * Sungkyunkwan University（首尔大学） ； University of Seoul（首尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 针对自回归TTS推理慢、鲁棒性差的问题，提出基于LoRA的轻量适配框架DELTA-TTS，将预训练AR TTS转为离散扩散语言模型，推理速度提升3.3倍且性能更优。

Comments ICML 2026 SPIGM Workshop

Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation

超越狄拉克 delta：缓解强化微调中的多样性崩溃以实现多功能图像生成

Jinmei Liu, Haoru Li, Zhenhong Sun, Chaofeng Chen, Yatao Bian, Bo Wang, Daoyi Dong, Chunlin Chen, Zhi Wang

机构 * Nanjing University（南京大学） ； Australia National University（澳大利亚国立大学） ； Wuhan University（武汉大学） ； National University of Singapore（新加坡国立大学） ； University of Technology Sydney（技术科技大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI、cs.LG

AI总结 DRIFT通过激励输出多样性缓解强化微调中的多样性崩溃，提升图像生成的多样性和任务对齐能力。

Can Post-Training Transform LLMs into Causal Reasoners?

训练后能否将大语言模型转变为因果推理者？

Junqi Chen, Sirui Chen, Chaochao Lu

机构 * Shanghai Artificial Intelligence Library（上海人工智能图书馆） ； Fudan University（复旦大学） ； Tongji University（同济大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文通过CauGym数据集评估了训练后方法对LLM因果推理能力的提升，发现适当训练可使小型模型在因果推理任务中超越大模型。

Bidirectional Resource Scheduling for Disaggregated and Asynchronous RL Post-Training

用于解耦和异步强化学习后训练的双向资源调度

Zhiqiang Tan, Maoxin Wang, Sijie Wang, Yiming Yin, Qiang Wang, Xiaowen Chu, Shaohuai Shi

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文针对不同RL设置和工作负载下资源常空闲的问题，提出BiDiRL架构，通过开发热切换运行时、基于时间性能建模的规划器及双向调度器，减少资源空闲，在32-GPU测试平台上显著提高RL训练吞吐量。

Comments 16 pages

Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

多任务GRPO：跨任务的可靠大语言模型推理

Shyam Sundhar Ramesh, Xiaotong Ji, Matthieu Zimmer, Sangwoong Yoon, Zhiyong Wang, Haitham Bou Ammar, Aurelien Lucchi, Ilija Bogunovic

机构 * UCL Department of EEE（伦敦大学学院电子工程系） ； UCL Centre for AI（伦敦大学学院人工智能中心） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； UNIST Graduate School of AI（延世大学人工智能研究生院） ； University of Edinburgh（爱丁堡大学） ； University of Basel（巴塞尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出MT-GRPO算法，通过动态调整任务权重和比例保持采样器，提升多任务场景下大语言模型的可靠推理性能。

Comments Accepted at ICML 2026

MathDebugger: Detecting and Diagnosing Errors in Synthetic Mathematical Data

MathDebugger：检测与诊断合成数学数据中的错误

Hao Liang, Meiyi Qiang, Yuying Li, Zefeng He, Xiaochen Ma, Ruichuan An, Yongzhen Guo, Zhengzhou Zhu, Bin Cui, Wentao Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MathDebugger是用于评估模型检测诊断合成数学数据错误的基准，含6000个标注实例，评估发现模型在该任务上表现不足，错误类型信息可提升修正效果，为数学数据质量控制提供支撑。

Document Optimization for Black-Box Retrieval via Reinforcement Learning

基于强化学习的黑盒检索文档优化

Omri Uzan, Ron Polonsky, Douwe Kiela, Christopher Potts

机构 * Stanford University（斯坦福大学） ； ContextualAI 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.CL

AI总结 提出通过强化学习（GRPO）优化文档表示，使其与目标检索器的查询分布对齐，仅需黑盒访问检索排名，在代码和视觉文档检索任务中提升性能，使小模型超越大模型。

ChronoMem: Version Control and Semantic Rollback for Large Language Model Agent Memory

ChronoMem：大语言模型智能体记忆的版本控制与语义回滚

Yongye Su, Wujiang Xu, Chaoji Zuo, Elisa Bertino

机构 * Purdue University（普渡大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.CL

AI总结 ChronoMem是集成于Google开源智能体开发套件的语义版本控制层，首次实现LLM智能体记忆的语义全局回滚，在长周期对话基准中显著提升回滚一致的问答与历史总结性能。

MemSIF: From Structured Interactions to Dual-Track Fact Memory for LLM Agents

MemSIF：从结构化交互到面向大语言模型智能体的双轨事实记忆

YuFei Luo, Xiucheng Xu, Zhen Yang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型智能体的长期记忆问题，提出MemSIF框架，通过结构化交互记忆与双轨事实记忆缓解两种错位模式，在两个数据集上的五种主干模型中均取得最高总准确率。

Comments Submitted to AAAI 2027. 19 pages, 10 figures, 18 tables

MemFly: On-the-Fly Memory Optimization via Information Bottleneck

MemFly: 通过信息瓶颈实现飞地内存优化

Zhenyuan Zhang, Xianzhang Jia, Zhiqin Yang, Zhenbo Song, Wei Xue, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Nanjing University of Science（南京理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MemFly通过信息瓶颈原理实现LLM的飞地内存优化，采用梯度自由优化器和混合检索机制提升内存效率和多跳查询能力。

Comments Accepted by ICLR 2026 MemAgents Workshop

DragonCrawl: A Generative, Intent-Based Framework for Scalable Mobile End-to-End Testing

DragonCrawl：一种用于可扩展移动端到端测试的生成式意图框架

Sowjanya Puligadda, Mengdie Zhang, Ali Zamani, Dhruva Dixith Kurra, Eric Chen, Juan Marcano

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 DragonCrawl是基于GPT-4o多模态的移动端到端测试框架，通过验证用户流程阻止问题提交，缩短测试入门时间，节省大量维护工作量，实现规模化持续质量保证。

Comments 12 pages, 6 figures, 6 pages

Trivium: Temporal Regret as a First-Class Objective for Causal-Memory Controllers

Trivium: 时间遗憾作为因果记忆控制器的一等目标

Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出将长期时间遗憾作为一等目标，与结果遗憾和认知遗憾共同构成因果记忆控制器的可证伪失败分析框架，证明时间校准偏差在对结果遗憾为零时仍线性增长，而基于持久因果日志的探测复杂度为对数级。

Comments Note on version 2 (closure). This version corrects errors in v1. The use of the term "regret'' also caused confusion because the quantities defined here are not standard comparator-based online-learning regret. Subsequent work will use "liability'' or "debt'' to be clear

Maglev: Sliding Recurrent Memory

Maglev：滑动循环记忆

Bo Liu, Qiang Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出Maglev，一种带固定记忆的循环Transformer架构，通过耦合模型与记忆一致性损失实现训练可并行性，在验证损失及下游预训练基准上优于基线，参数共享可减少内存。

Comments Neural Architecture Research

Calibrating Transformer Attention via Task-Space Sensitivity Feedback

从虚假焦点到真实精确：基于混淆的对抗性注意力学习在Transformer中

Yawei Liu

机构 * Chinese Academy of Sciences, Computer Network Information Center（中国科学院计算机网络信息中心） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出AFA机制，通过对抗性训练优化Transformer模型的注意力分布，提升情感分析任务的准确性。

Comments 9 pages, 3 figures

Introducing Large Language Models into the Design Flow of Time-Sensitive Networking

将大语言模型引入时间敏感网络的设计流程

Rubi Debnath, Luxi Zhao, Mohammadreza Barzegaran, Paul Pop, Sebastian Steinhorst

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)

AI总结 针对配置优化TSN网络的挑战，通过跨模型案例研究评估现有大语言模型能力，提出LLM辅助编排框架，介绍构建模块与管道，分析实际部署机会与局限，为评估LLM辅助TSN编排可行性提供路线图。

Topology-Aware Reasoning over Incomplete Knowledge Graph with Graph-Based Soft Prompting

基于拓扑的不完整知识图谱推理与图基软提示

Shuai Wang, Xixi Wang, Yinan Yu

机构 * Chalmers University of Technology and University of Gothenburg, Sweden（楚姆勒大学技术学院和哥德堡大学，瑞典） ； Technical University of Denmark, Kgs. Lyngby, Denmark（丹麦技术大学，基斯勒吕辛，丹麦） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；prompting(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于图的软提示框架，通过图神经网络编码子图生成软提示，使LLM在更丰富的结构上下文中推理，减少缺失边的影响，提升多跳KBQA性能。

Comments 17 pages, 2 figures

AudioDER: A Deduplication-Enhanced Reasoning Dataset for Post-Training Large Audio-Language Models

AudioDER: 一种用于后训练大型音频语言模型的去重增强推理数据集

Hui Geng, Yi Su, Zijian Gao, Tianjiao Wan, Qisheng Xu, Jiaxin Chen, Hengzhu Liu, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院） ； Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；post-training(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 针对现有音频-语言数据集冗余导致后训练效果下降的问题，提出基于声学相似性去重的数据构建流程，生成包含191k样本的推理导向数据集AudioDER，显著提升LALM在多个音频推理基准上的性能。

Emergence of Hierarchical Emotion Organization in Large Language Models

大型语言模型中层级情感组织的涌现

Maya Okawa, Bo Zhao, Eric J. Bigelow, Rose Yu, Tomer Ullman, Ekdeep Singh Lubana, Hidenori Tanaka

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； University of Tokyo（东京大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 受情感轮理论启发，分析大型语言模型输出中情感状态间的概率依赖关系，发现模型自然形成与人类心理模型一致的层级情感树，且更大模型发展出更复杂的层级结构，同时揭示社会经济角色在情感识别中的系统性偏差。

Comments ICML 2026

Tree of Thoughts as a Classical Heuristic Search Problem: Formal Foundations and Design Patterns

思维树作为经典启发式搜索问题：形式化基础与设计模式

Guni Sharon

机构 * Guni Sharon 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过经典启发式搜索术语统一分类法，将基于LLM的推理映射到搜索组件，并识别出系统搜索和前瞻性策略两种设计模式。

Comments Extended version of the SoCS 2026 paper. Includes appendices omitted from the proceedings version

Journal ref Proceedings of the Nineteenth International Symposium on Combinatorial Search (SoCS 2026), AAAI Press, 2026