语言大模型 / LLM

Orthographic Constraint Satisfaction and Human Difficulty Alignment in Large Language Models

正交约束满足与大语言模型中的人类难度对齐

Bryan E. Tuck, Rakesh M. Verma

机构 * University of Houston（德克萨斯大学休斯顿分校） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文评估了三种大语言模型在字符级约束满足任务上的表现，发现跨家族性能差异显著大于同家族参数扩展效果，且模型在处理常见词时存在系统性失败，揭示了对分布合理性依赖的问题。

Comments Accepted to LREC 2026

The Hidden Cost of Thinking: Energy Use and Environmental Impact of LMs Beyond Pretraining

思考的隐性成本：语言模型的能耗与环境影响（超出预训练阶段）

Jacob Morrison, Noah A. Smith, Emma Strubell

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 研究分析了语言模型全开发流程的环境影响，发现推理模型在数据中心能耗上是指令模型的17倍，开发成本占总计算量的82.2%，整体能耗达12.3GWh，排放4251吨CO2eq，水耗15887千升，需纳入环境报告标准。

Automatic Correction of Writing Anomalies in Hausa Texts

Hausa 文本中书写异常的自动纠正

Ahmad Mustapha Wali, Sergiu Nisioi

机构 * Human Language Technologies Research Center（人类语言技术研究中心） ； Faculty of Mathematics and Computer Science（数学与计算机科学学院） ； University of Bucharest（布加勒斯特大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 本文提出通过微调变压器模型自动纠正 Hausa 文本中的书写异常，构建了大规模噪声-清洁句子对数据集，并展示了 M2M100 等模型在提升下游任务中的效果。

Comments Accepted at ACL2026

CGM-JEPA: Learning Consistent Continuous Glucose Monitor Representations via Predictive Self-Supervised Pretraining

CGM-JEPA：通过预测自监督预训练学习一致的连续葡萄糖监测表示

Hada Melino Muhammad, Zechen Li, Flora Salim, Ahmed A. Metwally

机构 * University of New South Wales（新南威尔士大学） ； Google Research（谷歌研究） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CGM-JEPA框架，通过预测掩码的潜在表示来提升多模态数据的迁移能力，实验显示其在不同场景下均优于基线方法。

Grounding Synthetic Data Generation With Vision and Language Models

基于视觉和语言模型的合成数据生成基础

Ümit Mert Çağlar, Alptekin Temizel

机构 * Graduate School of Informatics（信息学院） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出一种视觉-语言 grounded 框架，用于可解释的遥感合成数据增强与评估，引入 ARAS400k 数据集，包含 100k 真实图像和 300k 合成图像，用于语义分割和图像描述生成。

Comments Accepted for presentation at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Synthetic Data for Computer Vision Workshop (SynData4CV) 2026

Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

跨尺度预训练：增强低分辨率卫星图像的自监督学习以用于语义分割

John Waithaka, Gustave Bwirayesu, Moise Busogi

机构 * Carnegie Mellon University Africa（卡内基梅隆大学非洲分校） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本文提出跨尺度预训练方法，利用高分辨率数据提升低分辨率图像的表示学习和分割性能，通过设计空间亲和组件改进自监督学习框架。

Model-Based Proactive Cost Generation for Learning Safe Policies Offline with Limited Violation Data

基于模型的主动成本生成：用于在有限违规数据下学习安全策略

Ruiqi Xue, Lei Yuan, Kainuo Cheng, Jing-Wen Yang, Yang Yu

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Polixir Technologies Nanjing, China（南京Polixir科技有限公司） ； Tencent Game AI Center Shenzhen, China（腾讯深圳游戏AI中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PROCO框架，利用大语言模型整合自然语言知识，通过构建保守成本函数和模型基于的模拟，减少约束违规并提升安全性，适用于离线数据中极少或无违规样本的高风险场景。

The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

扩展SPLADE模型在网页文档标题上的预训练研究

Hiun Kim, Tae Kwan Lee, Taeryun Won

机构 * Naver（纳维尔） 纠错

专题命中 预训练与数据 ：language model(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究了不同预训练数据集和预训练选项对MLM预训练模型在检索微调中的影响，发现高检索效果模型多基于通用语料库并使用较高学习率，但检索成本和posting列表长度变异较大，且通用预训练数据集重复对检索效果影响有限。

Prescriptive Scaling Laws for Data Constrained Training

数据受限训练的规范性扩展定律

Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar, Kilian Q. Weinberger

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出新的扩展定律，通过引入过拟合惩罚，改进数据受限训练中的计算分配策略，证明过度重复无效，建议增加模型容量，且通过权重衰减系数比较验证其有效性。

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

生长变换器：在固定基质上的模块化组合与逐层扩展

A. Bochkov

机构 * Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了在固定接口下训练解码器Transformer的约束训练方法，通过逐层扩展模型并保持可训练参数预算，展示了在有限参数下持续学习的可行性及与密集训练的权衡。

Comments Limitations added

An ALE-Consistent Graph Neural Operator-Transformer Framework for Fluid-Structure Interaction

一种适用于流固耦合的ALE一致图神经运算-变换器框架

Shihang Zhao, Martín Saravia, Haokui Jiang, Zhiyang Xue, Shunxiang Cao

机构 * Institute for Ocean Engineering（海洋工程研究院） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种结合图神经运算与视觉变换器的ALE一致框架，用于预测变形无结构网格上的流固耦合，通过轻量级LSTM网络预测结构运动，并通过ALE一致边界修正提升精度与稳定性。

Comments 29 pages, 20 figures

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

CEZSAR：一种用于零样本动作识别的对比嵌入方法

Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

机构 * Federal Institute of Paraná, Irati, Brasil（巴西南里奥格兰德联邦理工学院） ； Federal University of Paraná, Curitiba, Brasil（巴西南里奥格兰德联邦大学） ； Pontifical Catholic University of Paraná, Curitiba, Brasil（巴西南里奥格兰德天主教大学） ； University of Campinas, Campinas, Brasil（坎皮纳斯大学） 纠错

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文提出了一种基于对比学习的零样本动作识别方法，通过联合嵌入空间对视频和句子进行编码，解决语义鸿沟和领域偏移问题，实验在UCF-101和Kinetics-400数据集上取得最佳效果。

Comments Accepted for presentation at the International Conference on Pattern Recognition (ICPR) 2026

From SFT to RL: Demystifying the Post-Training Pipeline for LLM-based Vulnerability Detection

从SFT到RL：解开基于LLM的漏洞检测后训练流程的谜团

Youpeng Li, Fuxun Yu, Xinda Wang

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；SFT(title,title_cn)；post-training(title,abstract)；preference optimization(abstract)

AI总结 本文研究了基于LLM的漏洞检测后训练流程，发现基于GRPO的在线RL优于SFT和离线偏好优化方法，提出了数据筛选、阶段交互、奖励机制和评估协议的改进策略。

GFT: From Imitation to Reward Fine-Tuning with Unbiased Group Advantages and Dynamic Coefficient Rectification

GFT：从模仿到奖励微调：无偏组优势与动态系数校正

Wangjie Gan, Miao Pan, Linbo Xi, Wenqi Zhang, Jintao Chen, Jianwei Yin, Xuhong Zhang

机构 * OmniAl Group of ZJU ACES Lab（OMNIAL集团浙江大学ACES实验室） ； School of Software Technolog,Zhejiang University（浙江大学软件技术学院） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出GFT框架，通过组优势学习和动态系数校正解决SFT的奖励稀疏性问题，提升模型泛化能力与知识注入效率。

Debiasing LLMs by Fine-tuning

通过微调去偏大语言模型

Zhenyu Gao, Wenxi Jiang, Yutong Yan

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种基于监督微调的方法，利用LoRA技术训练指令数据集以减少LLM的预测偏差，通过参数层面干预改善模型的预测能力，实验验证了该方法在控制预测和股票收益预测中的有效性。

Grounding Everything in Tokens for Multimodal Large Language Models

基于令牌的多模态大语言模型的 grounding

Xiangxuan Ren, Zhongdao Wang, Liping Hou, Pin Tang, Guoqing Wang, Chao Ma

机构 * MoE Key Lab of Artificial Intelligence（人工智能混合专家模型关键实验室） ； AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院） ； Central Research Institute, Huawei（华为中央研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文提出GETok方法，通过整合可学习的令牌词汇提升多模态大语言模型在2D空间中的物体定位能力，实验显示其在多种指引用例任务中表现更优。

Comments 19 pages, 16 figures, 12 Tables

How Reasoning Evolves from Post-Training Data: An Empirical Study Using Chess

推理如何从训练数据中演变：使用国际象棋的实证研究

Lucas Dionisopoulos, Nicklas Majamaki, Prithviraj Ammanabrolu

机构 * Department of Computer Science and Engineering, University of California San Diego, San Diego, United States（计算机科学与工程系，加州大学圣地亚哥分校，圣地亚哥，美国） 纠错

专题命中 指令微调 ：post-training(title)；SFT(abstract,abstract_cn)；language model(abstract,comments)；分类 cs.AI、cs.LG

AI总结 研究语言模型推理从监督微调到强化学习的演变，发现直接预测最佳走法的微调能提升性能，但强化学习阶段导致不一致推理，而多步轨迹训练则能获得更稳定的推理。

Comments Accepted at ICML 2026. An earlier version appeared at the NeurIPS 2025 Foundations of Reasoning in Language Models (FoRLM) Workshop (Oral)

TF1-EN-3M: Three Million Synthetic Moral Fables for Training Small, Open Language Models

TF1-EN-3M：三百万合成道德寓言用于训练小型开放语言模型

Mihai Nadas, Laura Diosan, Andrei Piscoran, Andreea Tomescu

机构 * Babeș-Bolyai University（巴纳德-波耶亚大学） ； KlusAI Labs（KlusAI实验室） 纠错

专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TF1-EN-3M数据集，包含三百万英文寓言，用于训练小型开放语言模型，展示通过指令微调模型生成高质量寓言的方法，验证了无需大模型即可实现大规模道德叙事的可能性。

Comments 18 pages, 6 tables, 1 figure. v2: revised evaluation with open-weight LLM judge panel, expanded citations

Where Do Prompt Perturbations Break Generation? A Segment-Level View of Robustness in LoRA-Tuned Language Models

提示扰动为何破坏生成？基于段级视角的LoRA微调鲁棒性分析

Zhuoyun Li, Boxuan Wang, Jinwei Hu, Zhenglin Huang, Qisong He, Xinmiao Huang, Guangliang Cheng, Xiaowei Huang, Yi Dong

机构 * School of Computer Science and Informatics, University of Liverpool, UK（利物浦大学计算机科学与信息学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出S$^2$R$^2$框架，通过段级语义分割与最优传输对齐提升LoRA微调模型的鲁棒性，有效应对提示扰动导致的关键实体或结论漂移问题。

Comments Under review

Graph Query Generation with Constraint-guided Large Language Agents

带有约束引导的大语言代理的图查询生成

Mengying Wang, Nicolaas Jedema, Rahul Pandey, RaviKiran Krishnan, Jens Lehmann, Yinghui Wu

机构 * Case Western Reserve University（凯斯西储大学） ； Amazon（亚马逊） ； Meta 纠错

专题命中 指令微调 ：language agent(title)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出UniQGen框架，利用大语言模型动态提取和优化图查询子句，提升查询准确性和效率，在多个基准测试中表现优异，适用于企业级知识图谱问答。

Comments 42nd IEEE International Conference on Data Engineering (ICDE)

Led to Mislead: Adversarial Content Injection for Attacks on Neural Ranking Models

导致误导：针对神经排序模型的对抗性内容注入攻击

Amin Bigdeli, Amir Khosrojerdi, Radin Hamidi Rad, Morteza Zihayat, Charles L. A. Clarke, Ebrahim Bagheri

机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； Mila – Quebec AI Institute（魁北克AI研究院） ； Toronto Metropolitan University（多伦多 Metropolitan 大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CRAFT框架，通过生成对抗性数据集、监督微调和偏好引导优化，提升对抗性攻击效果，验证了生成式AI在排序操纵中的风险。

ACTG-ARL: Differentially Private Conditional Text Generation with RL-Boosted Control

ACTG-ARL: 差分隐私条件下通过RL增强的条件文本生成

Yuzheng Hu, Ryan McKenna, Da Yu, Shanshan Wu, Han Zhao, Zheng Xu, Peter Kairouz

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google Research（谷歌研究院） ； Meta 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 本文提出ACTG-ARL框架，通过分层结构和Anchored RL方法，在差分隐私下提升生成文本质量与条件生成控制，实现MAUVE指标提升20%。

Comments Accepted at ICML 2026

GIFT: Guided Fine-Tuning and Transfer for Enhancing Instruction-Tuned Language Models

GIFT：指导微调与迁移以增强指令微调语言模型

Zhiwen Ruan, Yichao Du, Jianjie Zheng, Longyue Wang, Yun Chen, Peng Li, Jinsong Su, Yang Liu, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Alibaba Group（阿里巴巴集团） ； Shanghai University of Finance and Economics（上海财经大学） ； Tsinghua University（清华大学） ； Xiamen University（厦门大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 GIFT通过整合指令模型的指导信息，提升指令微调语言模型的任务适应能力，实验显示其在数学和知识密集型基准上优于直接微调和迁移基线。

Journal ref Main of ACL 2026

Faithful Mobile GUI Agents with Guided Advantage Estimator

忠实的移动GUI代理与引导优势估计器

Haowen Hu, Pengzhou Cheng, Zheng Wu, Lingzhong Dong, Gongshen Liu, Zhuosheng Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 本文提出Faithful-Agent框架，通过两阶段流程提升GUI交互的证据基础性和一致性，引入引导优势估计器GuAE，有效提升任务成功率并保持指令遵循能力。

LocalAlign: Enabling Generalizable Prompt Injection Defense via Generation of Near-Target Adversarial Examples for Alignment Training

LocalAlign: 通过生成接近目标的对抗示例实现通用的提示注入防御

Yuyang Gong, Zihao Wang, Jiawei Liu, XiaoFeng Wang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 LocalAlign通过生成接近正确响应但错误的对抗示例，提升提示注入防御的泛化能力，采用margin-aware对齐算法增强训练效果。

Can Explanations Improve Recommendations? Evidence from Prediction-Informed Explanations

解释能否提升推荐？来自预测驱动解释的证据

Yuyan Wang, Pan Li, Minmin Chen

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 本文提出RecPIE框架，通过将解释生成与预测优化结合，提升推荐系统可解释性与性能，实验显示其在准确性与数据效率上均优于现有方法。

Toward a foundational thermal model for residential buildings

迈向住宅建筑的基础热模型

Ting-Yu Dai, Kingsley Nweye, Dev Niyogi, Zoltan Nagy

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 本文提出一种融合物理知识的Transformer架构，用于构建通用住宅建筑热模型，通过模拟提取静态特征和旋转位置嵌入注意力机制，在不同气候区实现高精度预测和零样本迁移。

WebGym: Scaling Training Environments for Visual Web Agents with Realistic Tasks

WebGym: 通过现实任务扩大视觉网络代理的训练环境

Hao Bai, Alexey Taymanov, Tong Zhang, Aviral Kumar, Spencer Whitehead

机构 * Microsoft（微软） ； UIUC（伊利诺伊大学香槟分校） ； CMU（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 WebGym通过大规模现实任务和异步轨迹采样系统提升视觉网络代理训练效果，使基座模型在分布外测试集上的成功率显著提升。

Comments Completed acknowledgements

SAMamba3D: adapting Segment Anything for generalizable 3D segmentation of multiphase pore-scale images

SAMamba3D：适应Segment Anything用于多相孔尺度图像的通用3D分割

Rui Zhang, Xianzhi Song, Linqi Zhu, Branko Bijeljic, Gensheng Li, Martin J. Blunt

机构 * Department of Earth Science and Engineering, Imperial College London（帝国理工学院伦敦地球科学与工程系） ； College of Artificial Intelligence, China University of Petroleum (Beijing)（中国石油大学（北京）人工智能学院） ； College of Petroleum Engineering, China University of Petroleum (Beijing)（中国石油大学（北京）石油工程学院） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 SAMamba3D通过结合Mamba体积上下文建模和渐进跨尺度特征交互，实现了通用的3D多相孔尺度分割，减少对特定案例重训练的需求。

Comments Code available at https://github.com/ImperialCollegeLondon/SAMamba-3D

Dino-NestedUNet: Unlocking Foundation Vision Encoders for Pathology Tumor Bulk Segmentation via Dense Decoding

Dino-NestedUNet：通过密集解码解锁基础视觉编码器用于病理肿瘤肿块分割

Tianyang Wang, Ziyu Su, Abdul Rehman Akbar, Usama Sajjad, Usman Afzaal, Lina Gokhale, Charles Rabolli, Wei Chen, Anil Parwani, Muhammad Khalid Khan Niazi

机构 * Department of Pathology, College of Medicine, The Ohio State University Wexner Medical Center, Columbus, OH, USA（病理学系，医学学院，俄亥俄州立大学韦克斯纳医学中心，哥伦布，OH，USA） ； Department of Biomedical Engineering, The Ohio State University, Columbus, OH, USA（生物医学工程系，俄亥俄州立大学，哥伦布，OH，USA） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文提出Dino-NestedUNet框架，通过预训练DINOv3编码器与密集密集解码器结合，改进病理肿瘤肿块分割的边界精度，实验证明其在跨域迁移中的有效性。