语言大模型 / LLM

What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

什么模型知道，它知道得有多好：基于知识加权的微调方法用于学习何时说“我不知道”

Joosung Lee, Hwiyeol Jo, Donghyeon Ko, Kyubyung Chae, Cheonbok Park, Jeonghoon Kim

机构 * NAVER CLOUD（NAVER云） ； Seoul National University（首尔国立大学） ； KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于知识加权的微调方法，通过估计实例级知识评分来提升模型在知识不足时的不确定性表达能力，同时保持对已知问题的准确性。

Comments 8 pages

How LLMs Follow Instructions: Skillful Coordination, Not a Universal Mechanism

大语言模型如何遵循指令：技能协调，而非通用机制

Elisabetta Rocchetti, Alfio Ferrara

机构 * Department of Computer Science, Università degli Studi di Milano（米兰大学计算机科学系） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 研究通过九种不同任务分析发现，大语言模型遵循指令并非依赖通用机制，而是通过协调多种语言能力实现，且存在任务间转移弱、依赖稀疏等特点。

Don't Act Blindly: Robust GUI Automation via Action-Effect Verification and Self-Correction

不要盲目行动：通过动作-效果验证和自我修正实现鲁棒的GUI自动化

Yuzhe Zhang, Xianwei Xue, Xingyong Wu, Mengke Chen, Chen Liu, Xinran He, Run Shao, Feiran Liu, Huanmin Xu, Qiutong Pan, Haiwei Wang

机构 * Beijing University of Technology（北京工业大学） ； Baidu Inc.（百度公司） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 本文提出VeriGUI框架，通过动作-效果验证和自我修正机制，解决GUI自动化中环境噪声导致的失败问题，提升恢复性能。

Comments ACL 2026 Main Conference

PDF Retrieval Augmented Question Answering

PDF检索增强型问答

Thi Thu Uyen Hoang, Meenakshi Rajendran, Kun Zhang, Yuhan Wu, Viet Anh Nguyen

机构 * Saarland University（萨尔兰大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出基于检索增强生成框架的PDF多模态问答系统，通过整合非文本元素提升复杂查询的准确性与相关性。

MedGemma Technical Report

MedGemma 技术报告

Andrew Sellergren, Sahar Kazemzadeh, Tiam Jaroensri, Atilla Kiraly, Madeleine Traverse, Timo Kohlberger, Shawn Xu, Fayaz Jamil, Cían Hughes, Charles Lau, Justin Chen, Fereshteh Mahvar, Liron Yatziv, Tiffany Chen, Bram Sterling, Stefanie Anna Baby, Susanna Maria Baby, Jeremy Lai, Samuel Schmidgall, Lu Yang, Kejia Chen, Per Bjornsson, Shashir Reddy, Ryan Brush, Kenneth Philbrick, Mercy Asiedu, Ines Mezerreg, Howard Hu, Howard Yang, Richa Tiwari, Sunny Jansen, Preeti Singh, Yun Liu, Shekoofeh Azizi, Aishwarya Kamath, Johan Ferret, Shreya Pathak, Nino Vieillard, Ramona Merhej, Sarah Perrin, Tatiana Matejovicova, Alexandre Ramé, Morgane Riviere, Louis Rouillard, Thomas Mesnard, Geoffrey Cideron, Jean-bastien Grill, Sabela Ramos, Edouard Yvinec, Michelle Casbon, Elena Buchatskaya, Jean-Baptiste Alayrac, Dmitry Lepikhin, Vlad Feinberg, Sebastian Borgeaud, Alek Andreev, Cassidy Hardin, Robert Dadashi, Léonard Hussenot, Armand Joulin, Olivier Bachem, Yossi Matias, Katherine Chou, Avinatan Hassidim, Kavi Goel, Clement Farabet, Joelle Barral, Tris Warkentin, Jonathon Shlens, David Fleet, Victor Cotruta, Omar Sanseviero, Gus Martins, Phoebe Kirk, Anand Rao, Shravya Shetty, David F. Steiner, Can Kirmizibayrak, Rory Pilgrim, Daniel Golden, Lin Yang

机构 * Google Research（谷歌研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 MedGemma 是基于 Gemma 3 的医学视觉-语言基础模型，具备强大的医学理解和推理能力，在医疗多模态问答、胸部X光分类等任务中表现优异，同时保持通用能力，为医疗AI发展提供基础。

Comments Fix references

Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs

语音扰动揭示大语言模型中基于分词的安全漏洞

Darpan Aswal, Siddharth D Jaiswal

机构 * Université Paris-Saclay（巴黎-萨克雷大学） ； IIT Kharagpur（印度理工学院卡哈拉格普尔分校） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过CMP-RT探测器揭示LLMs因分词机制导致的安全漏洞，发现语音扰动使安全关键token分裂为无害子词，导致安全机制失效，且该漏洞能绕过标准防御并扩展至多种模型。

LoRM: Learning the Language of Rotating Machinery for Self-Supervised Condition Monitoring

LoRM：学习旋转机械的语言以实现自监督的条件监测

Xiao Qin, Xingyi Song, Tong Liu, Hatim Laalej, Zepeng Liu, Yunpeng Zhu, Ligang He

机构 * University of Warwick（华威大学） ； Queen Mary University of London（伦敦玛丽女王大学） ； University of Sheffield（谢菲尔德大学） ； Advanced Manufacturing Research Centre, University of Sheffield（谢菲尔德大学先进制造研究中心） ； Tongji University（同济大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 LoRM通过将旋转机械信号视为机器语言，利用预训练语言模型进行多模态信号分析，实现实时条件监测，展示了在工具状态监测中的有效性。

OmniDiagram: Advancing Unified Diagram Code Generation via Visual Interrogation Reward

OmniDiagram：通过视觉 interrogation 奖励推进统一图代码生成

Haoyue Yang, Xuanle Zhao, Xuexin Liu, Feibang Jiang, Yao Zhu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：SFT(abstract)；分类 cs.AI

AI总结 本文提出OmniDiagram统一框架，结合多种图代码语言和任务定义，引入视觉反馈策略Viva，通过生成方法奖励视觉结构，无需人工标注数据，实验表明其在图代码生成基准上达到新状态。

Comments Accepted to ACL 2026 Findings

Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

扰动与恢复：用于从CLIP中有效移除后门的微调

Naman Deep Singh, Francesco Croce, Matthias Hein

机构 * University of Tübingen & Tübingen AI Center（蒂宾根大学 & 蒂宾根人工智能中心） ； EPFL（瑞士联邦理工学院洛桑） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 本文提出PAR机制，通过微调有效移除CLIP中的后门，实验表明其在不同编码器和攻击类型上均能保持良好性能，且无需真实训练数据。

Comments CVPR 2026 Findings

OmniFysics: Towards Physical Intelligence Evolution via Omni-Modal Signal Processing and Network Optimization

OmniFysics：通过多模态信号处理和网络优化实现物理智能进化

Minghao Han, Dingkang Yang, Yue Jiang, Yizhou Liu, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Fysics AI 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 OmniFysics通过统一图像、音频、视频和文本的多模态信号处理，结合动态物理数据引擎和物理知识注入，实现网络化AI系统的自主优化，提升物理理解能力。

Comments This work has been submitted to the IEEE for possible publication

CrowdVLA: Embodied Vision-Language-Action Agents for Context-Aware Crowd Simulation

CrowdVLA: 一种用于情境感知人群模拟的具身视觉-语言-动作代理

Juyeong Hwang, Seong-Eun Hong, Jinhyun Kim, JaeYoung Seon, Giljoo Nam, Hanyoung Jang, HyeongYeop Kang

专题命中 指令微调 ：language model(abstract)

AI总结 CrowdVLA通过引入视觉-语言-动作代理，解决了人群模拟中监督不足、控制不稳定和数据偏差等问题，推动模拟从运动导向转向感知驱动的决策制定。

Few-Shot Semantic Segmentation Meets SAM3

少样本语义分割遇见SAM3

Yi-Jen Tsai, Yen-Yu Lin, Chien-Yao Wang

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文基于现代视觉基础模型重新审视少样本语义分割，利用SAM3的提示式概念分割能力，通过简单空间拼接策略实现无需训练的分割，实验表明其在PASCAL和COCO数据集上达到SOTA性能，并揭示负提示在少样本场景下的负面影响。

Comments 14 pages, 3 figures

Fast-dVLA: Accelerating Discrete Diffusion VLA to Real-Time Performance

Fast-dVLA：加速离散扩散VLA以实现实时性能

Wenxuan Song, Jiayi Chen, Shuai Chen, Jingbo Wang, Pengxiang Ding, Han Zhao, Yikai Qin, Xinhu Zheng, Donglin Wang, Yan Wang, Haoang Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； ShanghaiTech University（上海科技大学） ； Shanghai Institute of Technical Physics, CAS（中国科学院上海技术物理研究所） ； AIR, Tsinghua University（清华大学智能产业研究院） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 本文提出一种方法，通过分离辅助任务训练目标，在参数空间中提升通用能力与任务特定动作分布，从而在减少计算开销的同时提高性能。

On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning

实时VLA适应 via 测试时强化学习

Changyu Liu, Yiyang Liu, Taowen Wang, Qiao Zhuang, James Chenhao Liang, Wenhao Yang, Renjing Xu, Qifan Wang, Dongfang Liu, Cheng Han

机构 * University of Missouri–Kansas City（密苏里大学堪萨斯城分校） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； U. S. Naval Research Laboratory（美国海军研究实验室） ； Lamar University（拉马尔大学） ； Meta AI ； Rochester Institute of Technology（罗彻斯特理工学院） 纠错

专题命中 指令微调 ：SFT(abstract)

AI总结 本文提出TT-VLA框架，通过测试时强化学习实现VLA模型的实时策略适应，提升机器人在动态环境中的适应性与稳定性。

Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation

具有自适应偏好优化的多模态大语言模型用于序列推荐

Yu Wang, Yonghui Yang, Le Wu, Yi Zhang, Fei Liu, Richang Hong

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(title,abstract)；LLM(abstract)

AI总结 本文提出HaNoRec框架，通过自适应偏好优化解决多模态序列推荐中的样本不平衡和跨模态语义偏差问题，提升推荐性能。

Comments Accepted by SIGIR 2026 (Full Paper)

Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

任务生态与大语言模型中世界追踪表示的进化

Giulio Valentino Dalla Riva

机构 * Baffelan OÜ 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(title)；small language model(abstract)；post-training(abstract)

AI总结 研究语言模型作为演化的模型生物，探讨自回归下一个token学习何时选择世界追踪表示，提出生态真实性概念及最小复杂度零超额解，分析transformer家族中固定编码分析的应用条件及失败模式。

Watch Before You Answer: Learning from Visually Grounded Post-Training

在回答前观看：从视觉引导的后训练中学习

Yuxuan Zhang, EunJeong Hwang, Huaisong Zhang, Penghui Du, Yiming Jia, Dongfu Jiang, Xuan He, Shenhui Zhang, Ping Nie, Peter West, Kelsey R. Allen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Etude AI ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文发现现有视频理解基准中40-60%的问题可通过文本线索回答，提出VidGround方法通过仅使用视觉引导问题提升VLM性能，实验显示其在后训练中效果优于复杂方法。

Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition

压力，何为压力？通过奖励分解实现语言模型中的奉承解缠

Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Umer, Emily Fox

机构 * Stanford University（斯坦福大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出通过奖励分解方法减少语言模型的奉承行为，引入多组件组相对策略优化（GRPO）奖励，分解训练信号为五个维度，有效降低奉承倾向。

Comments Submitted to COLM 2026

MolDA: Molecular Understanding and Generation via Large Language Diffusion Model

MolDA：通过大规模语言扩散模型实现分子理解与生成

Seohyeon Shin, HanJun Choi, Jun-Hyung Park, Hong Kook Kim, Mansu Kim

机构 * Gwangju Institute of Science and Technology（光州科学技术院） ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 MolDA通过大规模语言扩散模型替代传统自回归架构，解决分子生成中非局部约束和结构误差问题，实现分子生成、描述和性质预测的全局一致性与化学有效性。

QiMeng-PRepair: Precise Code Repair via Edit-Aware Reward Optimization

QiMeng-PRepair: 通过编辑感知奖励优化实现精确代码修复

Changxin Ke, Rui Zhang, Jiaming Guo, Yuanbo Wen, Li Ding, Shuo Wang, Xuyuan Zhu, Xiong Peng, Di Huang, Zidong Du, Xing Hu, Qi Guo, Yunji Chen

机构 * State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所处理器芯片国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Microelectronics, CAS（中国科学院微电子研究所） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出PRepair框架，通过Self-Breaking和Self-Repairing组件减少过度编辑，提升代码修复精度，实验显示在fix_1@1指标下精度提升31.4%。

Comments Accepted to ACL 2026 main conference

How Humans Help LLMs: Assessing and Incentivizing Human Preference Annotators

人类如何帮助大语言模型：评估和激励人类偏好标注者

Shang Liu, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li

机构 * Imperial College Business School, Imperial College London（帝国理工学院商学院，帝国理工学院） ； University of Sydney Business School, University of Sydney（悉尼大学商学院，悉尼大学） ； Meta 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究如何监控人类偏好标注者质量及激励机制，提出自一致性监控方案并分析样本复杂度，揭示标注样本数量与合同性能的关系。

Offline RL for Adaptive Policy Retrieval in Prior Authorization

离线强化学习在先决授权政策适应性检索中的应用

Ruslan Sharifullin, Maxim Gorshkov, Hannah Clay

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种基于离线强化学习的适应性政策检索方法，通过将检索过程建模为马尔可夫决策过程，提升了检索效率和准确性。

Comments 9 pages, 7 figures, 6 tables

Target Policy Optimization

目标策略优化

Jean Kaddour

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.LG

AI总结 TPO通过分离策略更新与目标分布构建，改进了策略梯度方法在稀疏奖励下的性能，适用于表格任务、Transformer序列任务和大模型强化学习。

LLM-MemCluster: Empowering Large Language Models with Dynamic Memory for Text Clustering

LLM-MemCluster：通过动态内存增强大语言模型进行文本聚类

Yuanjie Zhu, Liangwei Yang, Ke Xu, Weizhi Zhang, Zihe Song, Jindong Wang, Philip S. Yu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； William & Mary（威廉与玛丽学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 LLM-MemCluster通过动态内存和双提示策略，实现端到端的文本聚类，优于现有基线方法。

$π^2$: Structure-Originated Reasoning Data Improves Long-Context Reasoning Ability of Large Language Models

$π^2$：结构起源的推理数据提升大语言模型的长上下文推理能力

Quyet V. Do, Thinh Pham, Nguyen Nguyen, Sha Li, Pratibha Zunjare, Tu Vu

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出$π^2$方法，通过结构化数据生成高质量推理数据，提升大语言模型的长上下文推理能力，在四个基准测试中取得显著改进。

Comments Our structured analytical reasoning data, which originates from Wikipedia tables, significantly improves long-context reasoning capability of LLMs

MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU

MegaTrain：在单块GPU上以全精度训练1000亿参数以上的大型语言模型

Zhengqing Yuan, Hanchi Sun, Lichao Sun, Yanfang Ye

机构 * University of Notre Dame（圣母大学） ； Lehigh University（里海大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 MegaTrain通过在主机内存中存储参数和优化器状态，利用GPU作为临时计算引擎，实现了在单块GPU上以全精度训练超大规模语言模型，并在120B参数模型训练中表现出色。

Your LLM Agent Can Leak Your Data: Data Exfiltration via Backdoored Tool Use

你的LLM代理可能泄露你的数据：通过植入工具使用的数据外泄

Wuyang Zhang, Shichao Pei

机构 * University of Massachusetts Boston（马萨诸塞大学波士顿分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究揭示了通过植入工具使用的LLM代理进行数据外泄的风险，提出Back-Reveal攻击方法，展示多轮交互加剧信息泄露，强调需加强对抗外泄后门的防御。

Comments The 64th Annual Meeting of the Association for Computational Linguistics

HYVE: Hybrid Views for LLM Context Engineering over Machine Data

HYVE：用于机器数据上的LLM上下文工程的混合视图

Jian Tan, Fan Bu, Yuqing Gao, Dev Khanolkar, Jason Mackay, Boris Sobolev, Lei Jin, Li Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HYVE通过预处理和后处理框架优化LLM处理大规模机器数据的能力，减少token使用并提升输出质量，尤其在图表生成和异常检测任务中表现突出。

Comments 22 pages, 6 figures

Experience Transfer for Multimodal LLM Agents in Minecraft Game

在Minecraft游戏中多模态大语言模型代理的经验迁移

Chenghao Li, Jun Liu, Songbo Zhang, Huadong Jian, Hao Ni, Lik-Hang Lee, Sung-Ho Bae, Guoqing Wang, Yang Yang, Chaoning Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出Echo框架，通过分解经验为五维，使代理能从历史交互中提取可操作知识，提升复杂环境下的任务解决效率。

Memory Dial: A Training Framework for Controllable Memorization in Language Models

Memory Dial: 一种用于语言模型可控记忆的训练框架

Xiangbo Zhang, Ali Emami

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 Memory Dial通过调节记忆压力参数α，控制语言模型的记忆行为，实验显示α能有效调节记忆压力，大模型更敏感，常见序列更易记忆。

Comments Accepted to ACL Findings 2026