语言大模型 / LLM

OpenLanguageModel: Readable and Composable Small-Language-Model Pretraining for Education and Research

开放语言模型：用于教育和研究的可读且可组合的小语言模型预训练

Tavish Mankash, Vardhaman Kalloli, Keshava Prasad, Deepan Muthirayan

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.LG

AI总结 OpenLanguageModel是开源PyTorch库，用于构建和预训练小语言模型。其模型代码易读，能连接多种组件。通过追踪GPT - 2展示完整路径，含27个预设和文档。验证有高一致性和效率等成果，采用MIT许可，可多途径获取。

Comments 8 pages, 3 figures, and 1 table. Website: https://openlanguagemodel.github.io/openlanguagemodel/. Code: https://github.com/openlanguagemodel/openlanguagemodel

BrainNext: A General-Purpose Self-Supervised Foundation Model for Brain MRI Analysis

BrainNext：用于脑MRI分析的通用自监督基础模型

Moona Mazher, Abdul Qayyum, Steven A. Niederer, Daniel C. Alexander

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究提出BrainNext通用自监督基础模型用于脑MRI分析，结合MAE预训练与三维双向xLSTM-UNet架构，从大量未标记数据学习，经微调用于下游任务，在FOMO 2025评估中表现出色，证明其可转移性和作为基础模型的潜力。

Learning Spatio-Temporal Foundation Models from Pure Synthetic Data

从纯合成数据中学习时空基础模型

Yutong Feng, Shiyuan Piao, Yutong Xia, Xu Liu, Wenqi Fan, Fugee Tsung, See-Kiong Ng, Yuxuan Liang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； National University of Singapore（新加坡国立大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究旨在学习时空基础模型，提出NeoST，通过在程序生成的合成系统上预训练，引入可扩展语料库、潜在空间推理架构和目标，实验证明其在多样真实世界时空系统中性能优越，有长期稳定性和推理效率。

Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers

符号增强弥补神经事实核查器中规范等价盲点

Genpei Zhang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型总结科学文本时数字和单位幻觉问题，提出将错误检测重定义为类型验证，引入分类法和基准。用符号增强训练框架，提升规范等价鲁棒性，提高准确率，还明确了符号特征及银标签在特定情况下的作用，确定训练时增强是关键集成点。

Comments 18 pages, 3 figures, 6 tables

UniNDM: A Unified Noise-driven Detection and Mitigation Framework Against Sexual Content in Text-to-Image Generation

UniNDM：文本到图像生成中针对性内容的统一噪声驱动检测与缓解框架

Yao Huang, Yitong Sun, Huanran Chen, Ruochen Zhang, Shouwei Ruan, Ranjie Duan, Maoxun Yuan, Yinpeng Dong, Hui Xue, Xiaochun Cao, Xingxing Wei

机构 * Institute of Artificial Intelligence, State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室人工智能研究院） ； College of Artificial Intelligence, Tsinghua University（清华大学人工智能学院） ； Security Department, Alibaba Group（阿里巴巴集团安全部） ； School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区网络科学与技术学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 针对文本到图像生成易受隐式性提示影响的问题，提出UniNDM统一噪声驱动框架。利用早期预测噪声的可分离性开发轻量级检测器，引入噪声增强自适应负引导缓解问题，扩展到扩散变压器架构，实验显示比现有方法有显著改进。

Comments 18 pages, 10 figures, accepted by TPAMI

Specification-Driven Development as the Foundation of AI-Native Enterprise Software Engineering

规范驱动开发作为人工智能原生企业软件工程的基础

Mamdouh Alenezi

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 研究大语言模型和智能人工智能推动下软件工程范式转变，介绍规范驱动开发，提出规范治理参考模型，经评估能减少安全缺陷、缩短上市时间，证明企业软件需规范治理，vibe编码适用于构思和快速原型制作。

Mobius Learning: Cyclic Depth Folding in Transformers

莫比乌斯学习：Transformer中的循环深度折叠

Tongtian Zhu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究挑战Transformer中块作用与位置绑定的传统观点，提出基于循环深度折叠的莫比乌斯学习，同一组块在不同数据流中有不同应用时机，实现深度角色叠加，实验表明其在分布式训练中有优势，开辟新设计空间。

Tokenizing Crosslingual Homographs

跨语言同形异义词的分词

Rotem Brillant, Yuval Pinter

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究跨语言同形异义词在多语言模型中的处理问题，提出基于语言线索的分词器干预方法，通过内在分析和机器翻译实验验证，该方法能消除不同分词器处理差异，在部分设置下有改进，为添加语言信息提供探索方向。

Testing Retrieval-Augmented Generation Systems with Chunk Coverage

用块覆盖率测试检索增强生成系统

Jinhan Kim, Samuele Pasini, Paolo Tonella

专题命中 预训练与数据 ：language model(abstract)

AI总结 研究用块覆盖率（CC）测试检索增强生成（RAG）系统的检索组件，CC衡量语料块检索比例，可指导测试选择与生成，通过实验表明CC引导测试能更快达覆盖率且提高故障检测有效性，无需测试预言机就能捕捉检索多样性。

Comments ISSTA 2026

Reviving Ancient Paintings via Poem: A Colorization Framework for Aligning Cultural Semantics

通过诗歌复兴古画：一种用于对齐文化语义的色彩化框架

Junming Gao, Biao Zhu, Xiaosong Wang, Tan Tang

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 针对古画褪色问题，提出PoemColor框架，通过诗歌绘画投影仪和结构感知语义注意力，将诗歌文化语义与绘画恢复对齐，并构建混合数据集。实验证明该框架显著优于现有方法，能实现可控色彩化，恢复古画历史真实性与诗歌语义。

A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

用于部分标记多任务面部表情识别的共享潜在空间

Hong Hai Nguyen, Sy Phan Van, Soo-Hyung Kim, Van-Thong Huynh

机构 * Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学计算机科学与工程学院） ； Dept. of AI, FPT University（FPT大学人工智能系） ； Department of Artificial Intelligence Convergence, Chonnam National University（全南国立大学人工智能融合系） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究针对野外面部表情多任务且标注不完整不均衡的问题，提出将部分标记多任务学习视为对共享情感潜在空间的边缘化方法，在s-Aff-Wild2数据集上提升了表情和动作单元识别效果，得出相关结论并展示了小范围转移结果。

Bio-SFT: Asymmetric Cortical Guidance and Retinal Adaptation for Robust HDR Reconstruction

Bio-SFT：用于稳健 HDR 重建的不对称皮层引导和视网膜适应

Tingyu Cheng, Ting Zhang, Chongyi Li, Zhaoqing Pan, Tiesong Zhao

机构 * College of Physics and Information Engineering, Fuzhou University（福州大学物理与信息工程学院） ； School of Computer Science, Nankai University（南开大学计算机科学学院） ； School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） 纠错

专题命中 指令微调 ：SFT(title,title_cn)

AI总结 研究针对单图像 HDR 重建难题，提出 Bio-SFT 方法，它包含可学习的视网膜适应前端、小细胞 - 大细胞分裂引导及事件驱动的 SNN 硬门控模块，经训练能有效抑制暗区噪声，提高感知质量，减少伪影传播。

Automating structural reliability analysis with a multi-agent large language model framework

使用多智能体大语言模型框架实现结构可靠性分析自动化

Jaehwan Jeon, Chang Hee Lee, Taeyong Kim

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 研究提出多智能体大语言模型框架，通过专门智能体处理结构可靠性分析流程，用QLoRA微调方法规划器，由确定性求解器计算结果，降低专业知识壁垒，保持计算可信度，实现结构可靠性分析自动化。

Comments 41 pages, 10 figures. Submitted to Automation in Construction

Trace-Based On-Policy Distillation for Masked Diffusion Language Models

基于轨迹的策略蒸馏用于掩码扩散语言模型

Haolin Ren, Ziyang Huang, Chenhao Yuan, Jun Zhao, Kang Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；SFT(abstract)

AI总结 研究针对扩散大语言模型推理训练后处理难的问题，提出基于轨迹的策略蒸馏（TOPD）框架，通过在目标模型去噪轨迹上监督，利用教师模型获取令牌分布并以反向KL目标更新，在数学推理基准上提升了模型准确率且减少计算量。

Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective

重新思考异构语言模型合并：加权模型平均视角

Jiahe Fan, Yinghao Hou, Si Chen, Aiyuan Zhang, Hong Xie, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究异构语言模型合并问题，通过无训练的维度适配和比率控制插值，在联合式与交叉式合并中进行实验，结果表明简单参数平均结合轻量级适配和比率控制是强大基线，揭示直接加权融合的限制及对复杂方法的制约。

Comments 17 pages, 3 figures, 20 tables, preprint

A Dual-Hypothesis Reasoning Framework for LLM Guardrails

一种用于大语言模型护栏的双假设推理框架

Md Asiful Islam, Mihai Surdeanu

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出ARBITER大语言模型护栏框架，采用双假设推理和多组件监督微调方法，用成本效益高的策略生成推理痕迹及基于LoRA微调，性能超现有方法，还能为不安全决策提供解释，在安全审核基准实验中表现出色。

Learning from Synthetic Data without Model Collapse in Iterative Instruction Tuning

在迭代指令微调中从合成数据学习而不发生模型崩溃

Xiaonan Luo, Yue Huang, Kehan Guo, Ping He, Chuan Zou, Ting Hua, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； Vanderbilt University（范德堡大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究在合成数据用于指令微调时避免模型崩溃的问题，提出KITE两阶段框架，结合失败引导数据生成与边界感知不确定性整理，实验表明该框架比合成数据基线能更稳定地提升模型性能。

Evidence-in-the-Loop: Trace-Driven Optimization for Customer-Service LLM Agents

循证优化：面向客户服务语言模型代理的跟踪驱动优化

Chunming Wu, Dafei Qiu, Congde Yuan, Charles Quan, Jun Wu, Suipeng Li, Mo Wu, Gavin Xie, Hope Chen, Max Yao

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究面向客户服务语言模型代理的优化，提出循证客户服务代理工作流程，通过多种技术构建证据，结合政策引导编排。贡献混合RAG证据构建、循证问题/行动决策、跟踪驱动的RAG和重排器改进三种部署模式。

Diversity-Oriented Fine-Tuning for Uncertainty-Based Hallucination Detection

基于不确定性的幻觉检测的面向多样性的微调

Qiuyuan Li, Hongliang Dai, Piji Li

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education（教育部脑机智能技术重点实验室） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 研究基于不确定性的幻觉检测，提出面向多样性的微调策略，包括基于监督微调（SFT）和直接偏好优化（DPO）的方法，经实验验证可提高幻觉检测有效性，结果优于或可比现有方法。

PGN: Design and Implementation of a Vision-Language Navigation System Based on Pangu Multimodal Foundation Model

PGN：基于盘古多模态基础模型的视觉语言导航系统的设计与实现

Li Xian, Mingxi Li, Yizheng Wang, Yiming Shen, Qi Chen, Zhuoling Xiao

机构 * University of Electronic Science and Technology of China（电子科技大学） ； School of Information and Communication Engineering（信息与通信工程学院） 纠错

专题命中 指令微调 ：foundation model(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究基于盘古多模态基础模型设计实现视觉语言导航系统PGN，训练分两阶段，先对齐视觉与语言编码器，再使模型适应专家轨迹，结合多种计算方式，在特定评估下取得一定指标，量化了离线专家动作对齐情况。

Comments 6 pages, 5 figures

CommitLLM: A Fine-Tuned Pipeline for Git Commit Message Generation

CommitLLM：用于生成Git提交消息的微调管道

Md Rafid Haque, Poojan Narendrabhai Patel, Meetkumar Vijaybhai Raychura

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.AI

AI总结 针对开发人员编写的信息不足的Git提交消息问题，提出CommitLLM管道，通过微调小语言模型、约束解码和后处理，从代码差异生成合规消息，经评估效果良好，后处理对质量提升贡献更大。

Comments 7 pages, 4 figures

MADA-RL: Multi-Agent Debate-Aware Reinforcement Learning for Parameter-Efficient Reasoning in Compact Models

MADA-RL：用于紧凑模型中参数高效推理的多智能体辩论感知强化学习

Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Zifeng Ding, Volker Tresp, Yunpu Ma

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对紧凑模型训练成本高问题，提出MADA-RL框架，将其分为生成器和评论家角色，用辩论感知信号训练，通过LoRA微调少量参数。核心是反事实评论家优势，提高了模型准确率，在数学推理基准测试中有显著效果。

Comments 20 pages, 3 figures, 9 tables, 2 algorithms, under review at TMLR

ConsiSpace: Learning Geometric Consistency Matters for Video Spatial Reasoning

ConsiSpace：学习几何一致性对视频空间推理很重要

Ting Huang, Zhenyu Zhang, Wenyuan Huang, Jian Yang, Hao Tang

机构 * School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对视频空间推理中现有模型难以聚合一致空间证据的问题，提出ConsiSpace框架，通过构建几何一致内存及采用统一一致性自监督强化学习，在三个空间推理基准测试上取得成绩提升，平均得分比最强基线高12.6分。

Comments ECCV 2026

TellTale: Blending Multi-Instance LoRA Text Encoders and a Zero-Shot LLM Judge for Ambivalence/Hesitancy Recognition in Videos

TellTale：融合多实例LoRA文本编码器和零样本大语言模型判断器用于视频中的矛盾/犹豫识别

Abdel-Karim Al-Tamimi, Ali Rodan

机构 * Sheffield Hallam University（谢菲尔德哈勒姆大学） ； Yarmouk University（亚尔穆克大学） ； The University of Jordan（约旦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；分类 cs.AI

AI总结 TellTale旨在解决视频中矛盾/犹豫识别问题，它融合多实例LoRA文本编码器和零样本大语言模型判断器，结合三个概率流，在BAH数据集上取得优异成绩，相比官方基于视觉的基线有显著提升。

RegionFM: Interpretable Region-Based Brain MRI Classification Using Foundation Model Embeddings

RegionFM：使用基础模型嵌入进行可解释的基于区域的脑MRI分类

Wei Zhang

机构 * L3S Research Center（L3S研究中心） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 研究针对脑MRI基础模型预测难解释问题，提出RegionFM框架，将解剖分割与基础模型嵌入结合，通过划分区域、编码嵌入及构建模型组合，用于认知障碍分类评估，在保持性能同时使解释与临床推理更好对齐。

Searching for Task-Specific Vision Paths: Evolutionary Block Pruning Across Vision-Language Models

寻找特定任务的视觉路径：跨视觉语言模型的进化块剪枝

Tarun Tomar

机构 * IIIT（国际信息技术研究所） 纠错

专题命中 指令微调 ：language model(title,abstract)

AI总结 研究视觉语言模型中能否跳过固定预算视觉块组合，引入源平衡进化搜索并与其他方法比较，实验表明组合搜索可改进路由构建，但能力标签不能定义普遍可转移视觉路径，搜索能跨架构转移，能力专业化稳定性欠佳。

Comments 14 pages, 8 figures. Code and aggregate evidence: https://github.com/TarunTomar122/vision-pathways

CIGPO: Contextual Information-Gain Policy Optimization for Multi-Turn Evidence-Reading LLM Agents

CIGPO：用于多轮证据阅读语言模型代理的上下文信息增益策略优化

Hao Dou

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究多轮证据阅读语言模型代理训练不稳定问题，提出CIGPO方法，通过方差注入策略，利用冻结参考模型对数似然边际增加作逐轮信号，避免奖励方差崩溃，在HotpotQA实验中取得更好效果。

Schema-Constrained Document-Level Event Argument Extraction with Lightweight LLM Fine-Tuning

基于轻量级语言模型微调的模式约束文档级事件论元抽取

Roberto Pietrantuono, Antonio Guerriero, Pouya Sattari

机构 * University of Naples Federico II（那不勒斯费德里科二世大学） ； University of Salerno（萨勒诺大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL

AI总结 研究文档级模式约束事件论元抽取，结合角色集注入、参数高效监督微调及确定性解码后处理方法，使微调后的中型开放模型在MAVEN-ARG评估中优于GPT基线，最好模型在事件共指级别达42.39% F1值。

Comments Accepted at ECML PKDD 2026

SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

Yupeng Chang, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动的人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型中LoRA方法的不足，提出SOS-LoRA，将秩更新重参数化为多个静态低秩专家之和，通过分解总秩、固定多尺度缩放及正交初始化等，实现性能提升且可完全合并，实验证明其优于基线和变体。

PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

PoLoRA：一种预处理正交化的LoRA优化器

Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

机构 * Center for Computational Mathematics, Flatiron Institute（计算数学中心，熨斗研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对LoRA优化问题，提出PoLoRA优化器，由乘积感知谱更新方向、曲率预处理及幅度规则构成。在多模型指令调优数据集上评估，结果显示它步数减少，开销增加少，对学习率不敏感，最优学习率稳定。