语言大模型 / LLM

SeaAlert: Robust Severity Classification and LLM-Based Information Extraction for Noisy Maritime Distress Communications

SeaAlert：基于大型语言模型的海上 distress 通讯关键信息提取

Tomer Atia, Yehudit Aperstein, Alexander Apartsin

机构 * HIT-Holon Institute of Technology（希伯来理工学院） ； Afeka Academic College of Engineering（阿菲卡工程学院） 纠错

专题命中 预训练与数据 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI

AI总结 本文提出SeaAlert框架，通过生成合成数据解决海上 distress 通讯标注数据不足问题，利用LLM生成多样化消息并模拟噪声环境，提升自动分析鲁棒性。

Comments 21 pages

MetricAnything: Scaling Metric Depth Pretraining with Noisy Heterogeneous Sources

MetricAnything：利用噪声异构源扩展度量深度预训练

Baorui Ma, Jiahui Yang, Donglin Di, Xuancheng Zhang, Jianxun Cui, Hao Li, Yan Xie, Wei Chen

机构 * Li Auto Inc（李自动公司） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 研究针对度量深度估计扩展难题，提出MetricAnything框架，通过随机掩码创建稀疏度量提示解耦空间推理与偏差，用多样3D数据预训练，在多任务中表现出色，推动度量感知发展。

Comments Accepted to ECCV 2026. Project Page: https://metric-anything.github.io/metric-anything-io/

Predicting the Emergence of Induction Heads in Language Model Pretraining

预测语言模型预训练中归纳头的出现

Tatsuya Aoyama, Ethan Gotlieb Wilcox, Nathan Schneider

机构 * Department of Linguistics, Georgetown University（语言学系，乔治城大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title)；分类 cs.CL

AI总结 研究训练数据统计特性与归纳头形成关系，通过自然和合成数据设置，发现简单公式可预测归纳头形成点，表面二元重复频率等影响其形成并找到决策边界，局部依赖也影响其形成。

Comments Accepted to ICML 2026

Evaluating LLM-Based Regression Test Generation

基于大语言模型的回归测试生成评估

Jing Liu, Seongmin Lee, Eleonora Losiouk, Marcel Böhme

机构 * MPI-SP（Max Planck Institute for Software Process Engineering） ； University of California at Los Angeles（加州大学洛杉矶分校） ； University of Padua（帕多瓦大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用大语言模型为特定程序即时生成回归测试，将其作为机器翻译任务，通过对多个项目测试，反馈导向的零样本原型Cleverest表现良好，还探讨了提交消息对其效果的影响。

Comments 23 pages. Published in PACMSE Volume 3, Issue FSE. Artifact of Paper "Evaluating LLM-based Regression Test Generation": https://dl.acm.org/do/10.5281/zenodo.19616584

Clin-JEPA: A Multi-Phase Co-Training Framework for Joint-Embedding Predictive Pretraining on EHR Patient Trajectories

Clin-JEPA：一种多阶段协同训练框架，用于EHR患者轨迹的联合嵌入预测预训练

Yixuan Yang, Mehak Arora, Ryan Zhang, Baraa Abed, Junseob Kim, Tilendra Choudhary, Md Hassanuzzaman, Kevin Zhu, Ayman Ali, Chengkun Yang, Alasdair Edward Gent, Victor Moas, Rishikesan Kamaleswaran

机构 * Duke University（杜克大学） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Clin-JEPA框架，通过多阶段预训练稳定协同训练编码器和预测器，解决EHR数据中联合嵌入预测的挑战，实现多任务下游任务的高性能表现。

Comments 18 pages, 4 figures, 8 tables. Code: https://github.com/Kamaleswaran-Lab/Clin-JEPA

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior

TokSuite：衡量分词器选择对语言模型行为的影响

Gül Sena Altıntaş, Malikeh Ehghaghi, Brian Lester, Fengyuan Liu, Wanru Zhao, Marco Ciccone, Colin Raffel

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Google DeepMind（谷歌DeepMind） ； McGill University（麦吉尔大学） ； University of Cambridge（剑桥大学） ； Hugging Face 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出TokSuite，含模型集合与基准测试，通过不同分词器的预训练模型及多语言鲁棒性基准测试，解耦分词器影响，阐明多种流行分词器优缺点。

Comments ICML 2026. 46 pages, 13 figures

Polarity Detection of Sustainable Development Goals in News Text

新闻文本中可持续发展目标的极性检测

Andrea Cadeddu, Alessandro Chessa, Vincenzo De Leo, Gianni Fenu, Francesco Osborne, Diego Reforgiato Recupero, Angelo Salatino, Luca Secchi

机构 * LinkaLab 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 介绍可持续发展目标极性检测新任务，提出SDG - POD数据集，评估六种开源大语言模型在零样本和微调设置下的表现，发现微调模型性能更佳，合成训练数据可提升模型鲁棒性和分类性能。

Comments The paper has been updated thanks to the reviewers comments

Memisis: Orchestrating and Evaluating Synthetic Data for Tabular Health Datasets

Memisis：协调和评估表格健康数据的合成数据

Nitish Nagesh, Pengbao Zhou, Atchuth Naveen Chilaparasetti, Yajat Nagaraj Kiran, Tu Nguyen, Arshia Harish Puthran, Muhjaazee Love, Aadi Sharma, Mahdi Bagheri, Ian Harris, Amir M. Rahmani

机构 * University of California Irvine（加州大学尔湾分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Memisis工具，通过结合现有合成数据工具、大语言模型和先进评估指标，协调和评估合成数据，以提高下游预测任务和临床决策的质量。

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

带重放的语言生成：模型崩溃的学习理论视角

Giorgio Racca, Michal Valko, Amartya Sanyal

机构 * University of Copenhagen（哥本哈根大学） ； Isara Labs（Isara实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究随着前沿大语言模型训练对数据需求增加，生成文本可能重入训练语料库致模型崩溃的问题。通过语言生成极限框架，引入重放对手，刻画重放何时限制生成。

Comments Accepted to ICML 2026

StageCraft: Execution Aware Mitigation of Distractor and Obstruction Failures in VLA Models

StageCraft: 通过执行意识缓解VLA模型中干扰和障碍故障

Kartikay Milind Pangaonkar, Prabin Rath, Omkar Patil, Nakul Gopalan

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 StageCraft通过利用大规模视觉语言模型进行推理，改进预训练VLA策略性能，通过操控环境初始状态避免执行故障，实现在三个真实任务领域中性能提升40%。

Comments Accepted to IEEE International Conference on Intelligent Robots and Systems (IROS) 2026

Learning in Low-Dimensional Subspaces: Orthogonal Bottlenecks for Reinforcement Learning

低维子空间中的学习：强化学习的正交瓶颈

Aleksandar Todorov, Matthia Sabatelli

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种在强化学习编码器特征中插入固定正交投影以约束低维子空间的简单先验，证明其在线性可实现性假设下保持表达能力，并在实验中显示价值表示可压缩至极低维度而不损失性能。

Comments Reinforcement Learning Conference (RLC) 2026

Deriving Neural Scaling Laws from the statistics of natural language

从自然语言统计中推导神经缩放定律

Francesco Cagnetta, Allan Raventós, Surya Ganguli, Matthieu Wyart

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究从自然语言统计推导神经缩放定律，分离出语言关键统计属性预测神经缩放指数，给出基于这些统计量的简单公式，与实验测量定律匹配。

Comments ICML 2026

The Three Regimes of Offline-to-Online Reinforcement Learning

离线到在线强化学习的三种模式

Lu Li, Tianwei Ni, Yihao Sun, Pierre-Luc Bacon

机构 * Mila – Québec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能 chair） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究离线到在线强化学习，基于稳定性-可塑性原理提出框架解释其经验行为不一致性，识别三种在线微调模式，经实证研究验证该框架可指导相关设计选择。

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass

SHINE：一种可扩展的上下文超网络，用于在单次传递中将上下文映射到LoRA

Yewei Liu, Xiyuan Wang, Yansheng Mao, Yoav Gelbery, Haggai Maron, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Technion, NVIDIA（技术学院与NVIDIA） ； University of Oxford（牛津大学） ； School of Electronics Engineering（电子工程学院） ； Computer Science, Peking University（计算机科学，北京大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出SHINE，一种可扩展的上下文超网络，用于在单次传递中将多样且有意义的上下文映射到高质量的LoRA适配器，通过重用冻结LLM的自身参数和引入架构创新，克服了先前超网络的关键限制，以较少的参数实现了强大的表达能力。

OpenTinker: Separating Concerns in Agentic Reinforcement Learning

OpenTinker：在智能体强化学习中分离关注点

Siqi Zhu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 介绍OpenTinker，一种用于训练大型语言模型智能体的开放基础设施。通过共享执行资源和多LoRA策略，围绕策略生命周期运行，支持SFT和RL，实现多用户等共享基础模型并隔离更新等。

SynthFix: Adaptive Neuro-Symbolic Code Vulnerability Repair

SynthFix：自适应神经符号代码漏洞修复

Yifan Zhang, Jieyu Li, Kexin Pei, Yu Huang, Kevin Leach

机构 * Vanderbilt University（范德比大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 SynthFix通过结合代码生成与编译器引导的符号反馈，提升LLM在漏洞修复中的性能，实验表明其在CodeBLEU/CrystalBLEU和Exact Match指标上优于传统基线方法。

PLoRA: Efficient Concurrent LoRA Training for Large Language Models

PLoRA：用于大语言模型的高效并发LoRA训练

Minghao Yan, Zhuang Wang, Zhen Jia, Shivaram Venkataraman, Yida Wang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 研究发现当前LoRA训练范式不能有效利用硬件资源，提出PLoRA，在给定硬件和模型约束下自动编排并发LoRA微调作业并开发高性能内核，提升训练效率。

FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

FDLoRA：通过双LoRA调整实现大语言模型的个性化联邦学习

Yao Lu, Jiaxing QI, Zhongzhi Luan, Shaohan Huang, Carol Fung, Hailong Yang, Depei Qian

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 针对单个用户训练大语言模型资源需求高的挑战，提出FDLoRA框架，采用双LoRA调整，在客户端分别捕捉个性化和全局知识，仅全局模块上传参数，经自适应融合提升性能，降低通信和计算成本。

One Prompt, Many Sounds: Modeling Listener Variability in LLM-Based Equalization

一个提示，多种声音：在基于大语言模型的均衡中建模听众差异

Ioannis Stylianou, Jon Francombe, Pablo Martinez-Nuevo, Sven Ewan Shepstone, Zheng-Hua Tan

机构 * Bang & Olufsen A/S, Struer, Denmark（丹麦Bang & Olufsen A/S公司，Struer） ； Department of Electronic Systems, Aalborg University（奥胡斯大学电子系统系） ； Pioneer Centre for AI, Copenhagen, Denmark（哥本哈根先锋人工智能中心） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用大语言模型将自然语言提示映射到均衡设置，通过上下文学习和参数高效微调技术，实现更灵活的音频均衡控制。

Comments 13 pages, 15 figures, 2 tables, Accepted for publication in the IEEE Journal of Selected Topics in Signal Processing

Endogenous Resistance to Activation Steering in Language Models

语言模型中激活引导的内生抵抗

Alex McKenzie, Keenan Pepper, Stijn Servaes, Martin Leitgab, Murat Cubuktepe, Mike Vaiana, Diogo de Lucena, Judd Rosenblatt, Michael S. A. Graziano

机构 * University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究发现大型语言模型在任务不匹配的激活引导下能内生抵抗，通过显式重启恢复正确生成，并识别出相关稀疏自编码器潜在变量，可增强或削弱该抵抗。

Graph Representation Learning Augmented Model Manipulation on Federated Fine-Tuning of LLMs

图表示学习增强的模型操纵在联邦微调大型语言模型中的应用

Hanlin Cai, Kai Li, Houtianfu Wang, Haofan Dong, Yichen Li, Falko Dressler, Ozgur B. Akan

机构 * Centre for neXt Communications (CXC), Department of Engineering, University of Cambridge（下一代通讯中心（CXC），工程系，剑桥大学） ； Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠与信任跨学科中心（SnT），卢森堡大学） ； Telecommunication Networks group (TKN) at the School of Electrical Engineering and Computer Science, TU Berlin（电信网络组（TKN）位于电气工程与计算机科学学院，柏林技术大学） ； Center for neXt-Generation Communications (CXC), Department of Electrical and Electronics Engineering, Koç University（下一代通讯中心（CXC），电子与电气工程系，科克大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出AugMP策略，通过图表示学习框架和迭代操纵算法，增强对抗性更新的有效性和隐蔽性，实验表明其能显著降低全局LLM准确率。

Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models

罗马尼亚视觉语言模型的参数高效多模态指令微调

George-Andrei Dima, Răzvan-Alexandru Smădu, Dumitru-Clementin Cercel

机构 * National University of Science and Technology（科学技术大学） 纠错

专题命中 指令微调 ：language model(title)；instruction tuning(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对罗马尼亚语这种低资源语言，通过翻译并扩展Flickr30K数据集，采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距，模型在视觉问答等任务中能力提升且语法错误减少。

Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know"

分解式提示无法弥补知识差距，但有助于模型说“我不知道”

Dhruv Madhwal, Lyuxin David Zhang, Dan Roth, Tomer Wolfson, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Oracle AI 纠错

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究大语言模型在闭卷问答中识别知识局限的问题，评估三种提示方式在不同模型规模和多跳问答基准下的影响，利用提示方式间的分歧信号实现无训练弃权策略，提升模型可靠性。

Comments Camera-ready version. Published in Findings of ACL 2026. Code and data: https://github.com/dhruvmadhwal/disagreement-based-abstention

Towards Spatial Trace with Reasoning in Vision-Language Models for Robotics

面向机器人视觉-语言模型的具有推理能力的空间轨迹

Enshen Zhou, Yibo Li, Jingkun An, Jiayuan Zhang, Shanyu Rong, Mengzhen Liu, Yi Han, Yuheng Ji, Huajie Tan, Jiawei He, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Lu Sheng, Shanghang Zhang

专题命中 指令微调 ：language model(title)；SFT(abstract,abstract_cn)

AI总结 本文提出RoboTracer，一种3D感知的视觉语言模型，通过空间编码器和回归监督解码器提升空间推理能力，并结合强化学习训练实现多步度量推理，最终在复杂场景中实现高效空间轨迹生成。

Comments Accepted to ECCV 2026. Project page: https://zhoues.github.io/RoboTracer

Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline

面向交通工程实践的定制化生成式AI智能体：开发与持续预训练指南

Dianwei Chen, Yuan-Zheng Lei, Zifan Zhang, Yuchen Liu, Xianfeng Yang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出基于LoRA框架对六种大语言模型进行持续预训练的方法，以提升其在交通工程领域的专业内容理解与推理能力，Qwen2.5-7B和LLaMA-3.1-8B表现最佳。

EyeMulator: Improving Code Language Models by Mimicking Human Visual Attention

EyeMulator：通过模仿人类视觉注意力改进代码语言模型

Yifan Zhang, Chen Huang, Yueke Zhang, Jiahao Zhang, Toby Jia-Jun Li, Collin McMillan, Kevin Leach, Yu Huang

机构 * Vanderbilt University（范德比大学） ； National University of Singapore（新加坡国立大学） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出EyeMulator，通过提取眼动数据中的扫描路径，调整代码语言模型的注意力机制，使其更符合人类视觉注意力模式，从而在翻译和摘要任务中取得显著提升。

Context Misleads LLMs: The Role of Context Filtering in Maintaining Safe Alignment of LLMs

上下文误导大语言模型：上下文过滤在维持大语言模型安全对齐中的作用

Jinhwa Kim, Ian G. Harris

机构 * Department of Computer Science University of California, Irvine（计算机科学系，加州大学伊维特分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型受恶意上下文欺骗问题，提出上下文过滤防御机制，通过过滤不可信上下文识别真实意图，提升安全性同时保持性能，经对比分析验证其有效性。

Comments 17 pages, 3 figures

$M^2$-VLA: Boosting Vision-Language Models for Generalizable Manipulation via Layer Mixture and Meta-Skills

$M^2$-VLA：通过层混合与元技能提升视觉语言模型的通用操控能力

Siyao Xiao, Yuhong Zhang, Zhifang Liu, Zihan Gao, Jingye Zhang, Sinwai Choo, Dake Zhong, Mengzhe Wang, Xiao Lin, Xianfeng Zhou, Jia Jia, Haoqian Wang

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University, Shanghai, China（智能机器人与先进制造学院，复旦大学，上海，中国） ； Synapath 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 本文提出$M^2$-VLA，通过层混合和元技能模块提升视觉语言模型在机器人操控中的泛化能力，实验验证了其在模拟和现实环境中的有效性。

DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections

DynamixSFT：指令微调集合的动态混合优化

Haebin Shin, Lei Ji, Xiao Liu, Zhiwei Yu, Hyunwoo Yoo, Qi Chen, Yeyun Gong

机构 * University of Michigan（密歇根大学） ； Microsoft Research（微软研究院） ； KAIST AI（韩国科学技术院人工智能研究所） ； Drexel University（德雷塞尔大学） 纠错

专题命中 指令微调 ：instruction tuning(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对不断涌现的指令微调数据集，提出DynamixSFT动态自动优化方法。将问题转化为多臂老虎机设置，采用Prior-scaled Boltzmann Exploration和1-Step Look-ahead Reward更新采样概率，有效优化数据集并减少计算开销。

Comments ACL 2026 Findings

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pp. 39590-39603

Re:Form -- Reducing Human Annotations in Scalable Formal Software Verification with RL in LLMs: A Preliminary Study on Dafny

Re:Form——利用大语言模型中的强化学习减少可扩展形式化软件验证中的人工标注：关于Dafny的初步研究

Chuanhao Yan, Fengdi Che, Xuhan Huang, Xu Xu, Xin Li, Yizhi Li, Xingwei Qu, Jingzhe Shi, Chenghua Lin, Yaodong Yang, Binhang Yuan, Hang Zhao, Yu Qiao, Bowen Zhou, Jie Fu

机构 * Shanghai AI Lab（上海人工智能实验室） ； University of Alberta（阿尔伯塔大学） ； Tsinghua University（清华大学） ； Chinese University of Hong Kong, Shenzhen（香港大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） ； Nanyang Technological University（南洋理工大学） ； University of Manchester（曼彻斯特大学） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

AI总结 研究利用形式语言Dafny减少人工标注，核心方法是引入自动可扩展数据处理流程及结合形式语言验证器反馈的强化学习设计，主要贡献是提升模型在DafnyComp基准测试表现。

Comments Published in Transactions on Machine Learning Research (TMLR), 05/2026. Reviewed on OpenReview: https://openreview.net/forum?id=cAQmIS4GOe