语言大模型 / LLM

Pretraining A Large Language Model using Distributed GPUs: A Memory-Efficient Decentralized Paradigm

使用分布式GPU预训练大型语言模型：一种内存高效的分散式范式

Jinrui Zhang, Chaodong Xiao, Aoqi Wu, Xindong Zhang, Lei Zhang

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)

AI总结 提出SPES框架，通过分散式训练MoE LLM的子集专家降低内存需求，结合专家合并预热策略，在16个48GB GPU上训练2B参数模型，性能媲美集中式训练。

AC-ODM: Actor--Critic Online Data Mixing for Sample-Efficient LLM Pretraining

AC-ODM: 面向样本高效LLM预训练的演员-评论家在线数据混合

Jing Ma, Chenhao Dang, Mingjie Liao

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(title,title_cn)；pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出AC-ODM方法，从强化学习视角优化预训练数据混合，通过参数化策略实现梯度构造性干扰最大化，支持代理与非代理两种模式，显著提升收敛速度和下游任务准确率。

Comments ICML 2026 (Poster)

A large-scale pipeline for LLM-assisted corpus annotation: variation and change in the English consider construction

基于大语言模型的大规模语料标注流水线：英语consider构式的变异与变化

Cameron Morin, Matti Marttinen Larsson

机构 * Université Paris-Cité（巴黎-城市大学） ； University of Gothenburg（哥德堡大学） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种利用大语言模型自动标注大规模语料的四阶段流水线，在历史英语语料库中标注14万条consider构式，准确率超98%，揭示未记录的体裁特异性变化轨迹。

No One Knows the State of the Art in Geospatial Foundation Models

没有人知道地理空间基础模型的现状

Isaac Corley, Nils Lehmann, Caleb Robinson, Gabriel Tseng, Anthony Fuller, Hamed Alemohammad, Evan Shelhamer, Jennifer Marcus, Hannah Kerner

机构 * Taylor Geospatial（泰勒地理空间公司） ； Technical University of Munich（慕尼黑技术大学） ； Microsoft AI for Good Research Lab（微软AI for Good研究实验室） ； Allen Institute for AI（艾伦人工智能研究所） ； Vector Institute（向量研究所） ； Carleton University（卡尔顿大学） ； Clark University（克拉克大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 本文指出地理空间基础模型缺乏标准化评估和训练协议，提出六项具体期望以促进社区共识。

CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos

CLAP: 从人类视频中学习视觉-语言-动作模型的对比潜在动作预训练

Chubin Zhang, Jianan Wang, Zifeng Gao, Yue Su, Tianru Dai, Cai Zhou, Jiwen Lu, Yansong Tang

机构 * Tsinghua University（清华大学） ； Astribot ； University of Hong Kong（香港大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；post-training(abstract)

AI总结 提出CLAP框架，通过对比学习将人类视频与机器人动作词汇对齐，利用伪标签训练VLA模型，实现从人类视频到机器人执行的有效技能迁移。

Comments The code is available at: https://github.com/LinShan-Bin/OpenCLAP

CRC-Screen: Certified DNA-Synthesis Hazard Screening Under Taxonomic Shift

CRC-Screen：分类偏移下认证的DNA合成危害筛查

Najmul Hasan

机构 * Najmul Hasan（纳杰姆·哈桑） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 针对DNA合成订单中危害序列因分类偏移导致基线筛查100%误报的问题，提出基于k-mer Jaccard相似度、五LLM评委修剪均值和嵌入聚类质心余弦相似度的融合信号，经单调逻辑聚合器和共形风险控制校准，在保证假阴性率受控的同时实现零漏检和低误报。

Comments Accepted at the 6th Muslims in ML (MusIML) Workshop at ICML 2026

RASST: Retrieval-Augmented Simultaneous Speech Translation

RASST：检索增强的同声传译

Jiaxuan Luo, Siqi Ouyang, Jiaxing Xu, Lei Li

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。

Comments Under Review

Computational Safety for Generative AI: A Hypothesis Testing Perspective

生成式AI的计算安全性：假设检验视角

Pin-Yu Chen

机构 * IBM Research（IBM研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文从假设检验角度形式化生成式AI的计算安全性，提出基于信号处理的方法检测恶意输入和AI生成内容。

Comments Extended version of the paper presented at the ICML 2026 Workshop on Hypothesis Testing

Latent Action Pretraining Through World Modeling

通过世界建模的潜在动作预训练

Bahey Tharwat, Yara Nasser, Ali Abouzeid, Ian Reid

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学） ； Alexandria University（亚历山大大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出LAWM框架，通过世界建模从无标签视频中学习潜在动作表征，实现跨任务、环境和本体的迁移学习，在LIBERO基准和真实场景中优于使用真实动作预训练的方法。

MixTeX: Data-Efficient LaTeX OCR via Synthetic Pretraining and Limited Fine-Tuning

MixTeX: 通过合成预训练和有限微调实现数据高效的LaTeX OCR

Yuhan Xu, Yijun Zhao, Renqing Luo, Gary M. Weiss

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 提出MixTeX，通过合成预训练（无需真实LaTeX源）和少量真实样本微调，实现数据高效的LaTeX OCR，在英中印刷和手写基准上优于依赖大数据集的方法。

MIRAGE: Misleading Retrieval-Augmented Generation via Black-box and Query-agnostic Poisoning Attacks

MIRAGE: 通过黑盒与查询无关的投毒攻击误导检索增强生成

Tailun Chen, Yu He, Yan Wang, Shuo Shao, Haolun Zheng, Zhihao Liu, Jinfeng Li, Zhizhen Qin, Yuefeng Chen, Zhixuan Chu, Zhan Qin, Kui Ren

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；preference optimization(abstract)

AI总结 提出MIRAGE，一种在黑盒和查询无关场景下通过多阶段投毒管道攻击RAG系统的方法，利用代理模型反馈、人物驱动查询合成、语义锚定和对抗性TPO优化，显著提升攻击效果和隐蔽性。

Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction

判别跨度作为通过分类器重构预测合成数据效用的指标

Radhika Amar Desai, Modigari Narendra

机构 * School Of Computer Science（计算机科学学院） ； Vellore Institute of Technology（维杰雷理工学院） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种几何驱动的指标，通过预训练模型的嵌入空间评估合成数据效用，无需模型训练，通过测量线性分类器权重向量在变化子空间中的投影误差，判断合成数据对下游分类性能的影响。

Comments 15 pages, 17 tables

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling

新时代的视觉生成：从原子映射到智能世界建模的演进

Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang, Haonan Wang, Hang Zhou, Yifan Pu, Xingxuan Li, Fangneng Zhan, Bo Li, Lidong Bing, Yuxin Song, Ziwei Liu, Wenhu Chen, Jingdong Wang, Xinchao Wang, Xiaojuan Qi, Shijian Lu, Bin Wang

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； University of Hong Kong（香港大学） ； National University of Singapore（新加坡国立大学） ； University of Waterloo（滑铁卢大学） ； StepFun ； MiroMind ； Baidu（百度） ； Fudan University（复旦大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； LMMs-Lab（LMMs实验室） 纠错

专题命中 预训练与数据 ：post-training(abstract)

AI总结 提出五级分类法（原子生成、条件生成、上下文生成、智能生成、世界建模生成），分析流匹配、统一理解与生成模型等关键技术，并指出现有评估高估感知质量而忽视结构、时序和因果缺陷。

Comments Project Page: https://github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation

Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning

面向LLM监督微调的效用-多样性感知在线批次选择

Heming Zou, Yixiu Mao, Yun Qu, Qi Wang, Xiangyang Ji

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出UDS框架，利用logits矩阵核范数和轻量记忆缓冲实现高效在线批次选择，兼顾数据效用与多样性，无需外部资源，在多个基准上优于现有方法并降低训练时间。

Comments ICML 2026 accepted paper

Mechanistic Analysis of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning

大型语言模型在持续微调过程中灾难性遗忘的机制分析

Gustav Olaf Yunus Laitinen-Fredriksson Lundstrom-Imanov

机构 * Division of Statistics and Machine Learning (STIMA), Department of Computer and Information Science (IDA), Linköping University（统计与机器学习系（STIMA）、计算机与信息科学系（IDA）、利厄普堡大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn)；分类 cs.CL、cs.LG

AI总结 本文系统比较了20个顶级LLM在持续微调中的灾难性遗忘，通过行为分析和机制解释定位易受参数覆盖的神经回路，并提出低秩电路投影（LRCP）方法，在开放权重模型中恢复高达94.2%的祖先能力。

Comments 12 pages, 8 figures, 5 tables. Preprint submitted to Elsevier

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

灾难性遗忘的机制起源：为什么RL比SFT更好地保留电路？

Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） 纠错

专题命中 指令微调 ：SFT(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 通过引入差异电路脆弱性指标，研究比较了强化学习与监督微调在大型语言模型微调中对内部计算电路的保留程度，发现RL虽任务适应较慢但能更好保留电路，从而减轻灾难性遗忘。

Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning

通过提示调优使用大型语言模型自动总结医患对话

Mengxian Lyu, Cheng Peng, Xiaohan Li, Patrick Balian, Jiang Bian, Yonghui Wu

机构 * University of Florida（佛罗里达大学） ； University of Florida Health Cancer Center（佛罗里达大学健康癌症中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究提出通过提示调优生成式大型语言模型来自动总结医患对话，实验表明GatorTronGPT-20B模型在所有评估指标上表现最佳，且计算成本低。

Cordyceps: Covert Control Attacks on LLMs via Data Poisoning

Cordyceps: 通过数据投毒对LLM的隐蔽控制攻击

Zedian Shao, Charles Fleming, Teodora Baluta

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Cisco Systems（思科系统） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种数据投毒方法，通过语义关联教LLM隐藏任意恶意指令，实现隐蔽控制攻击，绕过多种防御。

Comments USENIX Security '26

Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs

从错误中学习：面向安全代码LLM的树状自博弈

Wenqi Chen, Ziyan Zhang, Bin Wang, Lin Liu, Hengheng Zhang, Zhengsu Chen

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出树状自博弈（TSP）框架，将安全代码生成建模为细粒度序列决策过程，通过构建决策树探索安全与脆弱路径，使模型在关键决策节点自我纠正，显著提升代码安全性并实现跨语言泛化。

Comments 18 pages, 3 figures, Accepted by ICML 2026

On the Geometry of On-Policy Distillation

论在线策略蒸馏的几何结构

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

机构 * HKUST（香港科技大学） ； UT Austin（得克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； Hong Kong PolyU（香港理工大学） ； USTC（中国科学技术大学） ； BUPT（北京邮电大学） ； Nankai University（南开大学） ； BIT（北京理工大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过参数空间诊断，揭示在线策略蒸馏（OPD）的更新轨迹具有松弛离主成分、子空间锁定等独特几何特性，表明其并非介于SFT和RLVR之间的中间方法。

Comments 17 pages, 8 figures

MolE-RAG: Molecular Structure-Enhanced Retrieval-Augmented Generation for Chemistry

MolE-RAG：面向化学的分子结构增强检索增强生成

Joey Chan, Wonbin Kweon, Ashley Shin, Niharika Bhattacharjee, Pengcheng Jiang, Yue Guo, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出无需训练的分子中心检索增强生成框架MolE-RAG，通过整合检索文献、分子特定信息和结构相似分子三种上下文，显著提升LLM在分子性质预测任务中的性能。

Oops, Wait: Discourse Tokens Matter in Reasoning Model

哎呀，等等：话语标记在推理模型中的重要性

Jaehui Hwang, Byeongho Heo, Sangdoo Yun, Dongyoon Han

机构 * NAVER AI Lab（NAVER人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文研究话语标记（如“wait”）在推理轨迹中的作用，发现数据高效微调可部分复现其模式，但不如大规模后训练与高置信答案转换对齐。

G-Loss: Graph-Guided Fine-Tuning of Language Models

G-Loss：图引导的语言模型微调

Aditya Sharma, Vinti Agarwal, Rajesh Kumar

机构 * BITS Pilani（BITS 派拉尼） ； Bucknell University（巴克内尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。

Comments 20 pages, Learning on Graphs (LoG2025)

ACC: Compiling Agent Trajectories for Long-Context Training

ACC：用于长上下文训练的代理轨迹编译

Qisheng Su, Zhen Fang, Shiting Huang, Yu Zeng, Yiming Zhao, Kou Shi, Ziao Zhang, Lin Chen, Zehui Chen, Lijun Wu, Feng Zhao

机构 * MoE Key Lab of BIPC, University of Science and Technology of China（中科院大学科学技术大学MoE关键实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出ACC，一种将代理轨迹编译为长上下文问答对的方法，通过整合多轮交互中的工具响应和环境观察，提升大语言模型的长上下文推理能力。

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients

SDFLoRA: 面向异构客户隐私保护微调的选择性解耦联邦LoRA

Zhikang Shen, Jianrong Lu, Haiyuan Wan, Jianhai Chen

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出SDFLoRA，通过将LoRA更新解耦为共享和私有组件，仅聚合共享部分并注入差分隐私噪声，解决联邦微调中的秩异构和数据异构问题，提升隐私-效用权衡。

Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models

视觉语言模型中标签噪声提示调优的内在梯度抑制

Jiayu Li, Jiaxin Qi, Sheng Zhou, Jiaqiang Huang, Xiansheng Hua

机构 * University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 提出双Softmax提示调优（DSPT），通过内在梯度抑制机制自适应压制高错误噪声样本的梯度，实现标签噪声下的鲁棒提示调优。

Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

在免费GPU上微调7B顾问：一种适配器交接方案与合成数据可靠性警示

Md Millat Hosen

机构 * Department of Computer Science and Engineering, Sharda University（计算机科学与工程系，沙达大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出在免费GPU上通过适配器交接微调7B模型的实用方案，并揭示合成数据导致的事实错误风险，强调数据质量比微调方法更关键。

Comments 20 pages, 5 figures, 7 tables. Major revision and repositioning of arXiv:2504.15610v1-v3 (previously titled "A LoRA-Based Approach to Fine-Tuning LLMs for Educational Guidance in Resource-Constrained Settings"); withdraws the earlier quantization-boundary and cross-GPU optimizer-transfer claims. Code, dataset, adapter, and evaluation harness released

Multi-User Dueling Bandits: A Fair Approach using Nash Social Welfare

多用户决斗式赌博机：一种基于纳什社会福利的公平方法

Maheed H. Ahmed, Mahsa Ghasemi

机构 * Electrical and Computer Engineering, Purdue University（电子与计算机工程系，普渡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对多用户偏好异质的决斗式赌博机问题，采用纳什社会福利目标最大化用户效用乘积，提出Fair-Explore-Then-Commit和Fair-ε-Greedy算法，并证明其遗憾上界匹配下界。

ToolSelf: Unifying Task Execution and Self-Reconfiguration via Tool-Driven Emergent Adaptation

ToolSelf: 通过工具驱动的涌现适应统一任务执行与自我重构

Jingqi Zhou, Sheng Wang, Dezhao Deng, Junwen Lu, Junwei Su, Qintong Li, Jiahui Gao, Hao Wu, Jiyue Jiang, Lingpeng Kong, Dunhong Jin, Chuan Wu

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出ToolSelf框架，将配置更新抽象为标准化工具接口，统一任务执行与自我重构，并采用配置感知两阶段训练（CAT）实现涌现适应性，在多种基准测试中平均超越静态配置基线28.8分。