语言大模型 / LLM

Self-Generated Error Training for Token Editing in Diffusion Language Models

扩散语言模型中令牌编辑的自生成错误训练

Lin Yao

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与技术学院） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 指令微调 ：language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 针对LLaDA2.1中令牌编辑的训练-推理不匹配问题，提出自生成T2T方法，通过无梯度草稿传递和自生成错误监督，提升编辑准确率并减少编辑强度。

TuneAhead: Predicting Fine-tuning Performance Before Full Training Begins

TuneAhead: 在完整训练开始前预测微调性能

Yuxiang Luo, Haonan Long, Chen Wang, Qiqi Duan, Xiaotian Lin, Yanwei Xu, Yuyu Luo, Weikai Yang, Nan Tang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出TuneAHEAD框架，通过元特征向量和SHAP归因，在微调前预测性能，在Qwen2.5-7B-Instruct上RMSE为1.47个百分点，95.1%预测误差在±3%内。

Comments 9 pages, 6 figures, accepted as ICML 2026 poster:https://icml.cc/virtual/2026/poster/64847

Rift: A Conflict Signature for Deception in Language Models

Rift: 语言模型中欺骗行为的冲突特征

Petr Nyoma

机构 * Harmonic Labs 纠错

专题命中 指令微调 ：language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过对比知情欺骗与无知错误，发现欺骗性前向传递具有高残差秩的冲突特征，能以100%准确率无标签识别谎言，并跨模型、语言和架构迁移。

Comments 13 pages, 4 figures. Code and experiment logs: https://github.com/Omibranch/Rift

m2sv: A Scalable Benchmark for Map-to-Street-View Spatial Reasoning

m2sv: 地图到街景空间推理的可扩展基准

Yosub Shin, Michael Buriek, Igor Molybog

机构 * University of Hawai'i at M\=anoa, Honolulu, HI, USA 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出m2sv基准，通过匹配朝北俯视图与街景图像推断相机方向，评估VLM空间推理能力；最佳模型准确率65.2%，低于人类72.0%，揭示几何对齐与推理一致性的差距。

From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning

从拒绝几何到安全几何：动态对抗微调下的有害性-拒绝耦合

Wenhao Lan, Shan Li, Xinhua Lai, Meiqi Wu, Junbin Yang, Haihua Shen

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)

AI总结 研究通过双安全几何协议测量语言模型在对抗微调中有害性与拒绝机制的耦合程度，发现R2D2训练早期高耦合带来强鲁棒性但牺牲实用性，后期低耦合恢复部分实用性但攻击成功率回升。

BusterX++: Towards Unified Cross-Modal AI-Generated Content Detection and Explanation with MLLM

BusterX++: 迈向基于MLLM的统一跨模态AI生成内容检测与解释

Haiquan Wen, Tianxiao Li, Zhenglin Huang, Yiwei He, Guangliang Cheng

机构 * University of Liverpool, UK（利物浦大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)

AI总结 提出统一多模态大模型BusterX++，通过纯强化学习策略实现图像与视频伪造检测的跨模态能力迁移，性能超越现有方法。

EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning

EnvRL: 在智能体强化学习中从环境动力学中学习

Zhitong Wang, Songze Li, Hao Peng, Shuzheng Si, Yi Wang, Maosong Sun, Juanzi Li

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出EnvRL框架，通过状态预测和逆动力学两个辅助目标，将环境动力学学习融入智能体强化学习，在长周期任务中显著提升成功率。

MarkIt: Training-Free Visual Markers for Precise Video Temporal Grounding

MarkIt: 免训练视觉标记用于精确视频时间定位

Pengcheng Fang, Yuxia Chen, Xiaohao Cai

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。

Divide, Deliberate, Decide: A Multi-Agent Framework for Fine-Grained Egocentric Action Recognition

分、议、决：一种用于细粒度自我中心动作识别的多智能体框架

Alessandro Sottovia, Alessandro Torcinovich, Oswald Lanz

机构 * Faculty of Engineering, Free University of Bozen-Bolzano（博尔扎诺自由大学工程学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 提出一种零样本多智能体框架，通过视频分割、异构VLM专家协商和Borda计数聚合，提升细粒度自我中心动作识别性能。

Discovering Functionally Selective Brain Regions with a Deep Topographic Multimodal Model

发现功能选择性脑区：一种深度地形多模态模型

Badr AlKhamissi, Johannes Mehrer, Lara Marinov, Ahmed Abdelaal, Abdulkadir Gokce, Martin Schrimpf

机构 * University of California, Berkeley（加州大学伯克利分校） ； Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 提出Topo-Omni模型，通过空间平滑微调预训练基础模型，在单一连续虚拟皮层上整合视觉、听觉和语言/认知处理，产生与人类神经影像一致的多模态聚类，并用于发现新脑区。

Comments Preprint. First two author contributed equally

Phys4D: Fine-Grained Physics-Consistent 4D Modeling from Video Diffusion

Phys4D: 从视频扩散模型实现细粒度物理一致的4D建模

Haoran Lu, Shang Wu, Songling Liu, Jianshu Zhang, Maojiang Su, Guo Ye, Chenwei Xu, Lie Lu, Pranav Maneriker, Fan Du, Manling Li, Zhaoran Wang, Han Liu

机构 * Northwestern University（西北大学） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.AI

AI总结 提出Phys4D流水线，通过三阶段训练（伪监督预训练、物理监督微调、强化学习校正）从视频扩散模型学习物理一致的4D世界表示，显著提升细粒度时空与物理一致性。

When English Isn't the Best Teacher: Source Language Effects in Cross-Lingual In-Context Learning

当英语不是最好的老师：跨语言上下文学习中的源语言效应

Fred Philippy, Siwen Guo, Jacques Klein, Tegawendé F. Bissyandé

机构 * Snt, University of Luxembourg（卢森堡大学科学技术系） ； Luxembourg Institute of Science and Technology（卢森堡科学技术研究院） 纠错

专题命中 指令微调 ：分类 cs.CL、cs.AI；large language model(comments)；language model(comments)

AI总结 研究跨语言上下文学习（ICL）中源语言选择的影响，发现基于微调的预期在ICL中不成立，提出有效选择源语言的替代启发式方法。

Comments Accepted at 1st Workshop on Multilinguality in the Era of Large Language Models (MeLLM 2026), co-located with ACL 2026

Pareto LoRA: Mitigating Modality Imbalance in Unified Multimodal Models via Pareto-Optimal Gradient Integration

Pareto LoRA：通过帕累托最优梯度集成缓解统一多模态模型中的模态不平衡

Xiwen Wei, Mark Nutter, Madhusudhanan Srinivasan, Radu Marculescu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Advanced Micro Devices, Inc.（超威半导体公司） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 针对统一多模态模型在LoRA微调中语言梯度主导优化导致图像生成质量下降的问题，提出帕累托最优梯度集成策略Pareto LoRA，通过调节梯度方向和强度平衡文本与图像目标，在CoMM基准上显著提升图像感知质量达44.9%。

LLM Consumer Behavior Theory: Foundations of a Novel Research Field

LLM消费者行为理论：一个新兴研究领域的基础

Manon Reusens, Sofie Goethals, David Martens

机构 * Department of Engineering Management, University of Antwerp（安特卫普大学工程管理系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出LLM消费者行为理论，研究LLM代理在市场中代表人类消费决策的行为，整合经济学与自然语言处理，探讨偏好表达、市场聚合及理性假设的失效。

Provably Efficient Regularized Online RLHF with Generalized Bilinear Preferences

具有广义双线性偏好的可证明高效正则化在线RLHF

Junghyun Lee, Minju Hong, Kwang-Sung Jun, Chulhee Yun, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） ； KAIST EE（韩国科学技术院电子工程系） ； POSTECH CSE/AI（POSTECH 计算科学与人工智能系） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；分类 cs.LG

AI总结 研究在线RLHF中正则化最佳响应最大遗憾最小化问题，通过广义双线性偏好模型证明强凸性可导出多对数遗憾，表明快速遗憾不限于KL散度。

Comments 48 pages, 3 figures (ver3: major revisions; ver2: more colorful boxes, fixed some typos)

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

先看后答：基于充分性驱动的强化学习实现视觉证据预对齐

Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom（中国电信） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 提出视觉证据预对齐（VEPA）方法，在预训练与后训练之间引入充分性驱动的GRPO优化，以增强多模态大模型对细粒度视觉证据的利用，显著提升视觉密集型任务性能。

DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models

DPRM: 一种用于扩散语言模型的即插即用Doob h变换诱导的令牌排序模块

Dake Bu, Wei Huang, Andi Han, Hau-San Wong, Qingfu Zhang, Taiji Suzuki, Atsushi Nitanda

机构 * City University of Hong Kong（香港城市大学） ； The Institute of Statistical Mathematics（统计数学研究所） ； University of Sydney（悉尼大学） ； Nanyang Technological University（南洋理工大学） ； The University of Tokyo（东京大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出DPRM模块，通过在线估计从置信度驱动排序逐步过渡到过程奖励引导排序，改进扩散语言模型的令牌排序策略，在九种任务中提升性能。

Temporal Preference Optimization for Unsupervised Retrieval

面向无监督检索的时间偏好优化

HyunJin Kim, Jaejun Shim, Young Jin Kim, JinYeong Bak

机构 * Microsoft, Redmond, USA（微软公司，美国红mond） ； Sungkyunkwan University, Suwon, South Korea（成均馆大学，韩国首尔） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI

AI总结 提出TPOUR方法，通过时间检索偏好优化（TRPO）和可学习时间嵌入插值，使无监督稠密检索器能捕捉时间相关性，在时间信息检索任务上超越有监督和无监督基线。

Comments Accepted to ICML 2026

Rethinking Groups in Critic-Free RLVR

重新思考无评论强化学习中的分组

Yihong Wu, Liheng Ma, Lingfeng Xiao, Muzhi Li, Xinyu Wang, Yingxue Zhang, Jian-Yun Nie

机构 * Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所） ； University of Waterloo（滑铁卢大学） ； The Chinese University of Hong Kong（香港中文大学） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对无评论强化学习分组策略的数据低效和同步问题，提出负令牌过滤方法，实现单次 rollout 稳定训练，在推理和代理任务上表现相当或更优。

Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

近端策略优化区域：教师存在于提示中，而非梯度中

Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma

机构 * NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出ZPPO方法，通过将教师知识注入提示而非策略梯度，解决小模型知识蒸馏中教师梯度主导和强化学习策略漂移问题，在多种规模模型上超越现有方法。

Comments Project page: https://byungkwanlee.github.io/ZPPO-page/

Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models

动态展开编辑：减少RL训练推理模型中的过度思考

Zihao Wei, Wenjie Shi, Liang Pang, Jingcheng Deng, Shicheng Xu, Shasha Guo, Zenghao Duan, Jiahao Liu, Jingang Wang, Huawei Shen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract,abstract_cn)；post-training(abstract)；分类 cs.CL

AI总结 针对GRPO强化学习训练中模型在得出正确答案后继续生成不必要推理的过度思考问题，提出动态展开编辑（DRE）方法，通过编辑成功轨迹中答案出现后的思考部分，削弱对不必要思考的偏好信号，实验证明其有效性。

Comments 21 pages, 10 figures, 2 tables

Principled RL for Flow Matching Emerges from the Chunk-level Policy Optimization

基于流匹配的原理化强化学习从片段级策略优化中涌现

Yifu Luo, Haoyuan Sun, Xinhao Hu, Penghui Du, Keyu Fan, Bo Li, Sinan Du, Xu Wan, Zhiyu Chen, Bo Xia, Yongzhe Chang, Changqian Yu, Kun Gai, Tiantian Zhang, Xueqian Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出了一种基于片段级策略优化的流匹配强化学习方法GCPO，通过将连续步骤聚合为相干片段并改变策略优化层级，有效缓解了优势归因不准确的问题，实验表明其在文本到图像生成任务中表现优于现有方法。

Comments ICML 2026

Self-Efficacy and Favorability Shape Learning from Tutoring Systems and Paper Practice

自我效能感和偏好影响辅导系统与纸质练习的学习效果

Xinfei Cen, Vincent Aleven, Kenneth R. Koedinger, Conrad Borchers, Paulo F. Carvalho

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 研究通过平衡被试内设计，发现低基线自我效能感的学生无论练习形式如何都获得更大学习收益，且对辅导系统的偏好与学习收益正相关，但纸质练习模式不同；基于智能辅导系统的练习并未显著提升自我效能感。

Comments Full research paper accepted at EC-TEL 2026

Verified Detection and Prevention of Concurrency Anomalies in Multi-Agent Large Language Model Systems

多智能体大语言模型系统中并发异常的可验证检测与预防

Sajjad Khan

机构 * independent researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(title)；language model(title)；分类 cs.LG

AI总结 针对多智能体LLM系统，形式化四种并发异常并建立一致性层级，通过Verus验证检测器正确性，并在Rust运行时中实现预防。

Comments 32 pages, 2 figures, 6 tables. Verus/TLA+ verification artifact, reference Rust runtime, and Python harnesses, plus a supplementary appendix (Sections A-F, Tables S1-S6), included as ancillary files

Vulcan: Instance-specialized, Verifiable Systems Heuristics Through LLM-driven Search

Vulcan：通过LLM驱动的搜索实现实例特化的可验证系统启发式方法

Rohit Dwivedula, Divyanshu Saxena, Sujay Yadalam, Eric Hayden Campbell, Daehyeok Kim, Aditya Akella

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出Vulcan框架，利用LLM生成系统启发式方法，通过隔离决策逻辑和受限语言Anvil保证安全，在调度、缓存和内存管理上取得显著性能提升。

Comments 19 pages

Regression Language Models for Code

代码的回归语言模型

Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah

机构 * Cornell University（康奈尔大学） ； Google DeepMind（谷歌DeepMind） ； Google Cloud（谷歌云） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出回归语言模型（RLM），利用冻结的大语言模型编码器直接从文本预测代码执行结果（如内存占用、延迟、神经网络精度等），在多个任务上达到高相关度。

Comments Published in International Conference on Machine Learning (ICML) 2026

Control-Plane Placement Shapes Forgetting: An Architectural Study of Agent Memory Across Thirteen System Configurations

控制平面放置塑造遗忘：跨十三种系统配置的智能体记忆架构研究

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM在智能体记忆管道中的位置（控制平面 vs 召回平面）对遗忘失败模式的影响，通过13种配置在385例对抗测试集上的实验，揭示了三种放置机制的互补覆盖范围，并提出了ForgetEval评估套件。

Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe

MemTrace: Probing What Final Accuracy Misses in Long-Term Memory

MemTrace: 探知长期记忆中最终准确率所遗漏的信息

Xianxuan Long, Zhikai Chen, Shenglai Zeng, Shouren Wang, Kai Guo, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出MemTrace基准，以知识点为单位，沿记忆年龄、问题类型和证据条件三个维度评估LLM代理的长期记忆，发现证据使用是主要瓶颈。

Trust-Aware Multi-Agent Traceability: Confidence-Calibrated Knowledge Graphs for Consistent Software Artifact Management

信任感知的多智能体可追溯性：用于一致软件工件管理的置信度校准知识图谱

Mohamed Essam, Kareem Wael, Azza Hassan, Ahmed Haitham, Mahmoud Soliman, Samer Saber, Ibrahim Habib

机构 * CairoMotive Cairo, Egypt（开罗动力埃及） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一种信任感知协调框架，通过共享知识图谱和校准置信度分数，结合嵌入检索与LLM多准则分析的两阶段可追溯性链接预测管道，解决多智能体系统中错误传播问题。

Boosting Knowledge Graph Foundation Models via Enhanced Negative Sampling

通过增强负采样提升知识图谱基础模型

Yinan Liu, Wenjin Xu, Zhiyuan Zha, Xiaochun Yang, Bin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出自适应负采样方法KMAS，通过动态调整困难负三元组比例，增强知识图谱基础模型在零样本补全任务中的性能。