语言大模型 / LLM

FastMix: Fast Data Mixture Optimization via Gradient Descent

FastMix: 通过梯度下降实现快速数据混合优化

Haoru Tan, Sitong Wu, Yanfeng Chen, Jun Xia, Ruobing Xie, Bin Xia, Xingwu Sun, Xiaojuan Qi

机构 * University of Hong Kong（香港大学） ； Tencent（腾讯） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 预训练与数据 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 提出FastMix框架，将数据混合选择重新表述为双层优化问题，通过联合优化混合系数和模型参数，实现高效、可扩展的数据混合发现，在预训练和后训练中均优于基线方法且大幅降低搜索成本。

Journal ref ICLR-2026

Exact Posterior Score Estimation for Solving Linear Inverse Problems

精确后验分数估计用于求解线性逆问题

Abbas Mammadov, Ozgur Kara, Kaan Oktay, Iskander Azangulov, Adil Kaan Akan, Hyungjin Chung, James Matthew Rehg, Yee Whye Teh

机构 * University of Oxford（牛津大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； EverEx 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出精确后验分数（EPS）方法，通过闭式后验分数将线性逆问题转化为去噪问题，无需梯度或投影，在FFHQ和ImageNet上优于现有方法。

A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt

测试时训练的决策论视角：何时、多远以及哪些方向进行自适应

Tomoya Wakayama

机构 * N/A 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 通过决策论将测试时训练视为核机制下的隐式贝叶斯推断，揭示了更新步长和子空间选择对性能的影响，并提出了自适应策略、PAC-Bayes保证和最优子空间选择规则。

$μ_0$: A Scalable 3D Interaction-Trace World Model

$\mu_0$: 一种可扩展的3D交互轨迹世界模型

Seungjae Lee, Yoonkyo Jung, Jusuk Lee, Jonghun Shin, Amir Hossein Shahidzadeh, Yao-Chih Lee, H. Jin Kim, Jia-Bin Huang, Furong Huang

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； Seoul National University（首尔大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 提出基于3D轨迹的可扩展世界模型$\mu_0$，通过预测交互点轨迹实现跨本体机器人学习，无需动作标签，性能媲美有监督模型。

Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction

判别跨度作为通过分类器重构预测合成数据效用的指标

Radhika Amar Desai, Modigari Narendra

机构 * School Of Computer Science（计算机科学学院） ； Vellore Institute of Technology（维杰雷理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种几何驱动的指标，通过预训练模型的嵌入空间评估合成数据效用，无需模型训练，通过测量线性分类器权重向量在变化子空间中的投影误差，判断合成数据对下游分类性能的影响。

Comments 15 pages, 17 tables

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

Viral Images: Identifying Reprintings within 1.5 Million Photographs in Chronicling America

病毒图像：在《记录美国》的150万张照片中识别翻印

Bruno Buccalon, Yueran Sun, Benjamin Charles Germain Lee

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 利用CLIP嵌入和聚类方法，在《记录美国》的150万张照片中无监督识别翻印内容，并构建交互式界面供人文学者研究。

Comments 13 pages, 6 figures, 2 tables

Learning Directional Semantic Transitions for Longitudinal Chest X-ray Analysis

学习纵向胸部X光分析的方向性语义转变

Zhangfeng Hu, Zefan Yang, Ge Wang, Tanveer Syeda-Mahmood, Anushree Burade, Mannudeep Kalra, Pingkun Yan

机构 * Rensselaer Polytechnic Institute（伦斯勒理工学院） ； Stanford University（斯坦福大学） ； Massachusetts General Hospital, Harvard Medical School（麻省总医院，哈佛医学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 提出ProTrans框架，将疾病进展建模为配对CXR研究间的方向性语义转变，利用放射学报告和可学习进展特征图显式编码语义变化，通过反向时间建模和双向重建一致性实现方向感知，在纵向下游任务中优于现有方法。

Comments MICCAI 2026

Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling

新时代的视觉生成：从原子映射到智能世界建模的演进

Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang, Haonan Wang, Hang Zhou, Yifan Pu, Xingxuan Li, Fangneng Zhan, Bo Li, Lidong Bing, Yuxin Song, Ziwei Liu, Wenhu Chen, Jingdong Wang, Xinchao Wang, Xiaojuan Qi, Shijian Lu, Bin Wang

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； University of Hong Kong（香港大学） ； National University of Singapore（新加坡国立大学） ； University of Waterloo（滑铁卢大学） ； StepFun ； MiroMind ； Baidu（百度） ； Fudan University（复旦大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 预训练与数据 ：post-training(abstract)

AI总结 提出五级分类法（原子生成、条件生成、上下文生成、智能生成、世界建模生成），分析流匹配、统一理解与生成模型等关键技术，并指出现有评估高估感知质量而忽视结构、时序和因果缺陷。

Comments Project Page: https://github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation

From Tokens to Regions: CUDA-Sensitive Instruction Tuning for GPU Kernel Generation

从令牌到区域：面向GPU内核生成的CUDA敏感指令微调

Wentao Chen, Jiace Zhu, Xing Zhe Chai, Zeng Qu, Qiaoling Xiao, Liucheng Duan, An Zou

机构 * Shanghai Jiao Tong University（上海交通大学） ； Biren Technology（壁仞科技） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；instruction tuning(title)；large language model(abstract)

AI总结 提出CuSeT方法，通过自适应令牌级掩码和区域感知样本重加权，在简单SFT框架内提升LLM生成CUDA内核的功能正确性。

Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes

智能并非瓶颈：验证LLM初稿评分与同行评审结果的一致性

Costa Georgantas

机构 * aipr.pub（aipr实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究验证了LLM系统AIPR通过提示对论文进行评分，无需微调，其整体评分能有效区分ICLR会议的接收与拒绝论文（AUROC 0.82），且评分稳定、可复现，为辅助同行评审提供了可靠依据。

Comments 34 pages, 14 figures

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL: 用于LLM中期训练的探索性强化学习

Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； OpenAI ； Rogo 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(summary_cn,abstract)；分类 cs.LG

AI总结 提出ExpRL方法，利用人类编写的问答数据作为奖励支架，通过密集奖励强化推理过程中的部分进展和有用行为，在数学推理任务上优于SFT、稀疏奖励GRPO和自蒸馏，并为后续稀疏奖励RL提供更好的初始化。

Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning

面向LLM监督微调的效用-多样性感知在线批次选择

Heming Zou, Yixiu Mao, Yun Qu, Qi Wang, Xiangyang Ji

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出UDS框架，利用logits矩阵核范数和轻量记忆缓冲实现高效在线批次选择，兼顾数据效用与多样性，无需外部资源，在多个基准上优于现有方法并降低训练时间。

Comments ICML 2026 accepted paper

Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

大型语言模型在持续微调过程中灾难性遗忘的机制分析

Gustav Olaf Yunus Laitinen-Fredriksson Lundstrom-Imanov

机构 * Division of Statistics and Machine Learning (STIMA), Department of Computer and Information Science (IDA), Linköping University（统计与机器学习系（STIMA）、计算机与信息科学系（IDA）、利厄普堡大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.CL、cs.LG

AI总结 本文系统比较了20个顶级LLM在持续微调中的灾难性遗忘，通过行为分析和机制解释定位易受参数覆盖的神经回路，并提出低秩电路投影（LRCP）方法，在开放权重模型中恢复高达94.2%的祖先能力。

Comments 12 pages, 8 figures, 5 tables. Preprint submitted to Elsevier

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

灾难性遗忘的机制起源：为什么RL比SFT更好地保留电路？

Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过引入差异电路脆弱性指标，研究比较了强化学习与监督微调在大型语言模型微调中对内部计算电路的保留程度，发现RL虽任务适应较慢但能更好保留电路，从而减轻灾难性遗忘。

The Art of Mixology: Mixup-based Obfuscation for Privacy-Preserving Split Learning in Large Language Models

混合艺术：基于混合的混淆方法用于大型语言模型中隐私保护的分割学习

Chen Chen, Xiang Gao, Xianshun Wang, Chengran Li, Shengyu Xia, Xueluan Gong, Linru Zhang, Qian Wang, Kwok-Yan Lam

机构 * College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） ； School of Cyber Science and Engineering, Wuhan University, China（武汉大学网络空间安全学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出MIXGUARD框架，通过令牌级混淆、表示级混淆和自适应梯度扰动机制，在保护隐私的同时保持模型效用，实验表明其优于现有方法。

Comments 19 pages, 5 figures

Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning

通过提示调优使用大型语言模型自动总结医患对话

Mengxian Lyu, Cheng Peng, Xiaohan Li, Patrick Balian, Jiang Bian, Yonghui Wu

机构 * University of Florida（佛罗里达大学） ； University of Florida Health Cancer Center（佛罗里达大学健康癌症中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究提出通过提示调优生成式大型语言模型来自动总结医患对话，实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳，且计算成本低。

VibeThinker-3B: Exploring the Frontier of Verifiable Reasoning in Small Language Models

VibeThinker-3B：探索小型语言模型中可验证推理的前沿

Sen Xu, Shixi Liu, Wei Wang, Jixin Min, Yingwei Dai, Zhibin Yin, Yirong Chen, Xin Zhou, Junlin Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：language model(title)；small language model(title)；SFT(summary_cn)；post-training(abstract)

AI总结 提出3B参数紧凑模型VibeThinker-3B，通过频谱到信号后训练范式（课程SFT、多域强化学习、离线自蒸馏）在可验证推理任务上达到前沿性能，匹配甚至超越大模型，并验证推理增强不损害指令可控性。

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击

Zedian Shao, Charles Fleming, Teodora Baluta

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。

Comments USENIX Security '26

PVminerLLM2: Improving Structured Extraction of Patient Voice via Preference Optimization

PVminerLLM2：通过偏好优化改进患者声音的结构化提取

Samah Fodeh, Linhai Ma, Ganesh Puthiaraju, Srivani Talakokkul, Afshan Khan, Elyas Irankhah, Sreeraj Ramachandran, Ashley Hagaman, Sarah Lowe, Aimee Roundtree

机构 * Yale School of Medicine（耶鲁大学医学院） ； Yale School of Public Health（耶鲁大学公共卫生学院） ； Texas State University（德克萨斯州立大学） 纠错

专题命中 指令微调 ：preference optimization(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出PVminerLLM2，通过偏好优化和令牌级门控稳定项、混淆感知偏好对构建等技术，解决监督微调难以处理的细粒度错误，在患者声音结构化提取任务上优于基线模型。

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

深度残差注入：多模态大语言模型的全频谱取证信号感知

Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Electronic Science and Technology of China（电子科技大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型在取证中难以同时保留语义知识和捕获低级生成器伪影的问题，提出Deep-VRM方法，通过将伪影特定视觉信号作为残差路径注入中间层，实现全频谱信号感知，达到鲁棒检测性能。

Comments Accepted at ICML 2026

Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models

通过阶段调制进行声学提示以实现音频语言模型中的少样本学习

Hyebin Cho, Jaehyuk Jang, Changick Kim, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(title,abstract)；分类 cs.LG

AI总结 提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。

Comments Accepted to INTERSPEECH 2026

Conflict-Aware Federated Fine-Tuning of Large Language Models with Mixture-of-Experts

基于混合专家的大语言模型冲突感知联邦微调

Yijun Lu, Zihan Fang, Pengpeng Qiao, Zheng Lin, Jing Yang, Yuxin Zhang, Por Lip Yee, Zhe Chen, Jun Luo

机构 * Nanyang Technological University（南洋理工大学） ； University of Malaya（马来亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 针对联邦学习中混合专家模型因数据异质性导致的专家优化冲突问题，提出FC-MoE框架，通过重要性加权、梯度共识投影和局部知识保留机制，实现稳定优化并提升非独立同分布环境下的模型性能。

Comments 6 pages, 4 figures

Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs

从错误中学习：面向安全代码LLM的树状自博弈

Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。

Comments 18 pages, 3 figures, Accepted by ICML 2026

On the Geometry of On-Policy Distillation

论在线策略蒸馏的几何结构

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

机构 * HKUST（香港科技大学） ； UT Austin（得克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； Hong Kong PolyU（香港理工大学） ； USTC（中国科学技术大学） ； BUPT（北京邮电大学） ； Nankai University（南开大学） ； BIT（北京理工大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过参数空间诊断，揭示在线策略蒸馏（OPD）的更新轨迹具有松弛离主成分、子空间锁定等独特几何特性，表明其并非介于SFT和RLVR之间的中间方法。

Comments 17 pages, 8 figures

MolE-RAG: Molecular Structure-Enhanced Retrieval-Augmented Generation for Chemistry

MolE-RAG：面向化学的分子结构增强检索增强生成

Joey Chan, Wonbin Kweon, Ashley Shin, Niharika Bhattacharjee, Pengcheng Jiang, Yue Guo, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出无需训练的分子中心检索增强生成框架MolE-RAG，通过整合检索文献、分子特定信息和结构相似分子三种上下文，显著提升LLM在分子性质预测任务中的性能。

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

无资源、无基准、无问题？评估和改进无资源语言的代码生成大语言模型

Alessandro Giagnorio, Alberto Martin-Lopez, Gabriele Bavota

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究无资源语言（LLM未见训练数据的语言）的代码生成问题，通过构建三个基准并实验提示技术、预训练和微调方法，提出权重差异迁移方法提升性能。

Comments Accepted for publication at IEEE Transactions on Software Engineering

PACT: Privileged Trace Co-Training for Multi-Turn Tool-Use Agents

PACT: 多轮工具使用智能体的特权轨迹协同训练

Zhenbang Du, Jun Luo, Zhiwei Zheng, Xiangchi Yuan, Kejing Xia, Dachuan Shi, Qirui Jin, Qijia He, Shaofeng Zou, Yingbin Liang, Wenke Lee

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Ohio State University（俄亥俄州立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出PACT框架，通过特权轨迹（专家轨迹）在训练时提供密集监督信号，结合轨迹条件RL和组件感知SFT损失，避免推理时依赖轨迹，显著提升多轮工具使用智能体的性能。

Comments Project page: https://zhenbangdu.github.io/pact-project-page/

Do LLMs Reliably Identify Correct Information Units in Aphasic Discourse?

LLMs 能否可靠识别失语症语篇中的正确信息单元？

Jason M Pittman, Yesenia Medina-Santos, Anton Phillips, Brielle C. Stark

机构 * Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究评估指令微调大语言模型在零样本和少样本提示下对失语症语篇进行词级正确信息单元分类的性能，发现少样本提示可提升效果但一致性仍不足。

Comments 5 tables, 4 figures

Skill-to-LoRA: From Using Skills to Learning Behaviors for Token-Efficient LLM Agents

Skill-to-LoRA：从使用技能到学习行为以实现令牌高效的LLM智能体

Tianyi Zhang, Zhonghao Qi

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出Skill-to-LoRA方法，将技能文本转换为LoRA适配器，替代运行时注入技能文档，在SWE-Skills-Bench上提升通过率并降低令牌成本。

Comments Preprint. 10 pages, 4 figures