语言大模型 / LLM

SSM Adapters via Hankel Reduced-order Modeling: Injection Site Determines Task Suitability in Long-Context Fine-Tuning

通过Hankel降阶建模的SSM适配器：注入位置决定长上下文微调中的任务适用性

Omanshu Thapliyal

机构 * Hitachi America Ltd.（日立美洲有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Hankel降阶模型(HRM)适配器，一种基于SSM的残差模块，通过平衡截断初始化，在长上下文任务中优于LoRA，并支持FFT并行扫描。

Comments 14 pages, 12 figures, HiLD Workshop @ ICML 2026

From Lexicon to AI: A Structured-Data Pipeline for Specialized Conversational Systems in Low-Resource Languages

从词汇到AI：低资源语言中专有对话系统的结构化数据流水线

Siddhant Hitesh Mantri, Dhara Gorasiya, Malhar Kulkarni, Pushpak Bhattacharya

机构 * NMIMS, Mumbai（NMIMS孟买分校） ； CFILT, IIT Bombay（印度理工学院孟买分校CFILT） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出利用专家编纂的词汇数据库（如印地语WordNet）生成指令对，微调12B参数语言模型，构建低资源语言专用对话系统，在教育任务中效果优于通用模型。

Comments 12 pages, 3 figures

When Top-1 Fails: Calibrating LoRA Monitors for Masked Diffusion LMs

当Top-1失败时：为掩蔽扩散LM校准LoRA监控器

Lucky Verma, Pratik Yadav

机构 * Independent Researcher（独立研究员） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对离散扩散语言模型微调中top-1 argmax作为崩溃预警的零精度问题，提出使用最大LoRA梯度范数作为参数侧信号，在LLaDA族上实现0.68精度和0.79 F1分数，并建议每族DLM校准阈值。

Comments 14 pages, 3 figures. Code and result artifacts: https://github.com/lucky-verma/top1-fails-dlm-lora-monitors

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

MixedPEFT：结合混合目标的多参数高效微调方法用于无监督域适应

Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

机构 * Computer Engineering Department（计算机工程系） ； Erciyes University（埃里奇大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种结合自定义PEFT架构和混合目标训练的参数高效无监督域适应策略，在MNLI数据集上超越现有方法，仅使用7%可训练参数。

Comments 6 pages, 5 tables. Builds upon our preliminary work presented at UBMK 2024

Decoupling the Declarative from the Procedural in Vision-Language-Action Models

在视觉-语言-动作模型中解耦声明性知识与程序性知识

Nikolaos Tsagkas, Andreas Sochopoulos, Chris Xiaoxuan Lu, Oisin Mac Aodha, Alexandros Kouris

机构 * University of Edinburgh（爱丁堡大学） ； UCL（伦敦大学学院） ； Samsung AI Center - Cambridge, UK（三星人工智能中心 - 英国剑桥） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有VLA模型无法解耦声明性与程序性知识导致零样本技能迁移脆弱的问题，提出w$^{2}$VLA模型，通过重构信息流实现模块化、可解释的知识解耦，显著提升对未见物体的零样本技能迁移能力。

Explaining Attention with Program Synthesis

用程序合成解释注意力机制

Amiri Hayes, Belinda Z Li, Jacob Andreas

机构 * NJIT（新泽西理工学院） ； MIT（麻省理工学院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出用可执行程序近似深度网络组件行为的方法，针对Transformer注意力头，通过生成Python程序再现注意力模式，实现可解释性。

Recoverable but Not Stationary:Local Linear Structures in Weights and Activations

可恢复但不稳定：权重和激活中的局部线性结构

Irina Piontkovskaia, Sergey Nikolenko

机构 * St. Petersburg Department of the Steklov Institute of Mathematics（斯捷克洛夫数学研究所圣彼得堡分所） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究神经网络中线性结构的存在性与尺度，发现局部低秩任务梯度结构，但固定任务平面假设不成立；首次恢复更新形成轨迹前缀基，捕获大部分恢复位移；提出随机搜索理论解释高维随机参数搜索有效性，并验证参数扰动与激活引导的关系。

Comments 23 pages, 8 tables, 9 figures

LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models

LargeMonitor: 通过大型预训练模型监控在线无任务持续学习

Mingqi Yuan, Xiaoquan Sun, Shihao Luo, Jiayu Chen

机构 * HKU（香港大学） ； Qicore Tech（启科科技） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LargeMonitor框架，利用大型预训练模型（LVM和LMM）解耦检测与诊断，实现无任务持续学习中的零样本漂移检测和语义病因诊断，提升现有算法性能。

How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions

你能做到多小？面向金融交易中商户信息抽取的 270M-8B 模型 LoRA 微调

Donghao Huang, Tomas Drietomsky, Benjamin Barrett, Zhaoxia Wang

机构 * Singapore Management University（新加坡管理大学） ； Mastercard（万事达卡） ； A*STAR Centre for Frontier AI Research（新加坡科技研究局前沿人工智能研究中心） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI、cs.LG

AI总结 针对金融交易中从嘈杂银行字符串提取结构化商户信息的生产需求，系统评估 24 种模型变体，发现 Qwen 3.5 4B 在参数量减半下 F1 仅低 0.35 点，0.8B 模型匹配 2.5-4 倍大模型性能，且思维链微调提升有限。

Comments 9 pages, 5 figures, 5 tables. Submitted to the IEEE International Conference on Data Mining (ICDM) 2026

SafeGene: Reusable Adapters for Transferable Safety Alignment

SafeGene: 可重用的适配器实现可迁移的安全对齐

Yanghan Wang, Zhiqiang Kou, Fu Feng, Jing Wang, Xin Geng

机构 * Southeast University（东南大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SafeGene，一种可重用的安全适配器模块，通过从对齐-退化模型差异中提取安全表示，并利用数据感知层选择和少样本系数重校准，实现跨任务的安全恢复，在保持下游性能的同时降低有害响应率。

Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation

用于参数高效通用视觉适配的自路由张量适配器

Suraj Yadav

机构 * Indraprastha Institute of Information Technology Delhi（因德拉普拉斯信息技术学院德里分校） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 提出自路由张量适配器（SRTA），无需外部门控网络即可实现样本特定适配，在多领域视觉分类基准上，以更少参数达到与MoE式PEFT基线相当或更优的平均准确率。

Comments Accepted at ECCV Workshop 2026 (Archival Track)

Prototype-Rectified Iterative Self-supervised Manifold Denoising under Severe Acoustic Shift

严重声学偏移下的原型修正迭代自监督流形去噪

Ashish Anand Shukla, Rini Smita Thakur, Aryan Das, Vinod K. Kurmi

机构 * Indian Institute of Science Education and Research（印度科学教育与研究学院） ； Vellore Institute of Technology（韦洛尔理工大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 针对严重声学噪声下音频-文本基础模型的失效问题，提出无训练无数据源的TTA框架PRISM，在UrbanSound8K数据集上取得显著性能提升，还解决了复音陷阱问题。

Comments Accepted as a full paper at ACM CIKM 2026

Crystal-structure design by agentic AI in a language of motifs

基于基元语言的智能体AI晶体结构设计

Dinh-Khiet Le, Minh-Quyet Ha, Hong-Phuc Vu-Dinh, Takashi Miyake, Hiori Kino, Hieu-Chi Dam

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 该研究提出智能体AI框架MatEvolve，以基元语言设计晶体，在贫稀土永磁体设计中发现新结构原型的频率是生成模型的三倍以上，可揭示结构-性能关系。

Envs-FORGE: Frontier-Optimized Reward-Grounded Environment Synthesis for Agent RL

Envs-FORGE：面向智能体强化学习的前沿优化、奖励驱动的环境合成方法

Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Zhichao Shi, Hao Zhou, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

机构 * IDEA Research（IDEA研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； DataArcTech Ltd.（DataArcTech有限公司） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

AI总结 Envs-FORGE是面向智能体RL的奖励驱动环境合成方法，通过MILP选动作生成训练环境，在多模型及数据集上显著提升Pass@1等指标。

Comments 19 pages, 5 figures

Follow the Norm: Accounting for Fine-Tuning and Prompt Effects on Model Rationales

遵循规范：考量微调与提示对模型理由的影响

Long Hoang Nguyen, Brice Valentin Kok-Shun, Guangyu Du, Ali Sunyaev

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

AI总结 该研究将AI视为代理主体，通过对LLaMA-3.2-11B等三个模型开展实验，发现违反规范的微调会改变模型的理由风格，而系统提示可覆盖该行为，支持对齐的分布式观点，为可争议监督提供了相关依据。

Comments Extended version with appendix; final version to appear in the Proceedings of AAAI/ACM AIES 2026

The Role of Natural Language Understanding in Multimodal Video-Based Dengue Diagnosis

自然语言理解在基于多模态视频的登革热诊断中的作用

Danial Sharifrazi, Saadat Behzadi, Julakha Jahan Jui, Mojtaba Mohammadi, Nouman Javed, Roohallah Alizadehsani, Prasad N. Paradkar, Asim Bhatti

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本研究提出基于YOLO和CLIP的视觉-语言框架，从视频中分类未受感染与DENV2感染的蚊子，帧级准确率达98.54%、灵敏度达99.91%，证实该框架可用于分析感染相关生物行为。

LoRA-Diffusion: Parameter-Efficient Fine-Tuning via Low-Rank Trajectory Decomposition

LoRA-Diffusion：基于低秩轨迹分解的参数高效微调方法

Iman Khazrak, Narges Nejad, Mohammadhossein Homaei, Mostafa M. Rezaee, Robert C. Green

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 本文提出 LoRA-Diffusion，将低秩分解应用于扩散式语言模型的去噪轨迹而非权重，引入轨迹级适配器等技术，在 SST-2 等数据集上取得优异性能，为扩散式语言模型提供参数高效微调框架。

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

CoAdapt-GUI：面向未知GUI应用的工作流上下文与策略联合适配

Linqiang Guo, Li Gu, Zihuan Jiang, Zhixiang Chi, Siobhan Reid, Ziqiang Wang, Yuanhao Yu, Wei Liu, Yang Wang, Tse-Hsun, Chen

机构 * Li Gu（李谷（音译）） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 CoAdapt-GUI框架通过联合适配工作流上下文与策略，在有限交互预算无目标演示的未知GUI应用场景下，将AndroidWorld泛化性能提至45.0%、AndroidWorld Plus提至52.9%，优于仅策略TTA基线。

Self-Evolving Embodied Agents via Skill-Harness Evolution

基于技能-工具链进化的自演化具身智能体

Peidong Wang, Zhiming Ma, Ying Chang, Xufang Luo, Xiaocui Yang, Shi Feng, Yuqing Yang, Dongsheng Li

机构 * Microsoft Research（微软研究院） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL

AI总结 提出免训练的SHAPER框架，通过演化技能与工具链实现冻结模型驱动的自演化具身智能体，在VLABench等数据集上验证其适配优势。

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

REAP：面向基于大语言模型的闭卷知识库构建的关系感知引出与解析

Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

机构 * VNU University of Engineering and Technology（VNU工程技术大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 该研究提出REAP系统，基于Mistral-Small-24B-Instruct-2501模型，结合结构化思维链推理等技术，在2026年AKBC共享任务闭卷知识库构建任务中取得宏F1值0.62，相关代码已公开。

From Manuals to Maintenance: Fine-Tuning MedGemma for Multi-Modal Imaging System Support in Low-Resource Settings

从手册到维护：在低资源场景中微调MedGemma以提供多模态成像系统支持

Bernes Lorier Atabonfack, Zion Kongbi Nfo, Ahmed Tahiru Issah, Tolulope Olusuyi, Clemence Ingabire, Mohammed Hardi Abdul Baaki, Mawuli Deku, Abdulrazaq Zubair, Alyasaa Anas, Raymond Confidence, Maruf Adewole, Udunna C. Anazodo

机构 * Carnegie Mellon University Africa（非洲卡内基梅隆大学） ； IngenziAI（因根齐人工智能公司） ； Federal University of Health Sciences Azare（阿扎雷联邦健康科学大学） ； University of Maiduguri Teaching Hospital（迈杜古里大学教学医院） ； Lawson Health Research Institute（劳森健康研究所） ； University of Pennsylvania（宾夕法尼亚大学） ； McGill University（麦吉尔大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 针对中低收入国家医疗设备维护难题，研究人员构建INGENZI_DatasetV1数据集，用QLoRA微调MedGemma-4b-it模型，使维修问答指标大幅提升，为低资源场景AI辅助医疗维护奠定基础。

Comments Accepted at the AFRICAI 2026 Workshop, a satellite event at MICCAI 2026. To appear in Springer Lecture Notes in Computer Science (LNCS)

VTO: Visual Tool Orchestration for Video Anomaly Detection

VTO：面向视频异常检测的可视化工具编排

Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； School of Digital Media & Design Art（数字媒体与设计艺术学院） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 针对视频异常检测中传统方法泛化差、多模态智能体工具编排难的问题，提出过程监督强化学习框架VTO，结合VAD-Tool工具集，在工具调度上较基线提升10.2%。

Comments Accepted by ACM MM 2026

Gaze Behavior in Visual World Experiments Can be Modeled With Off-the-shelf Language-Vision Encoders

视觉世界实验中的注视行为可采用现成的语言-视觉编码器建模

Rahul Murali Shankar, Titus von der Malsburg, Sebastian Padó

机构 * University of Stuttgart（斯图加特大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 该研究提出结合CLIP双编码器与双模态归因方法的新方法，无需微调或生成式架构，即可复现经典视觉世界研究的人类注视行为预测结果。

WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN

WNM-3D：一种用于闭环视觉语言导航的带3D场景条件的世界导航模型

Yuehao Huang, Yunzi Wu, Xiaotao Zhang, Xinhai Li, Jiankun Dong, Jiajun Lv, Chi Zhang, Chenjia Bai, Yong Liu, Xuelong Li

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 该研究提出带3D场景条件的WNM-3D模型，通过几何编码器与适配器整合场景上下文，经多阶段训练后在GN-Bench等数据集上的闭环导航性能优于同类模型。

From Cheap Fakes to Pure Synthesis: Addressing the New Era of T2V Fake News Videos

从廉价伪造到纯合成：应对文本生成视频（T2V）假新闻视频的新时代

Yifeng Luo, Yupeng Li, Liang Lan, Tian Wang

机构 * Hong Kong Baptist University（香港浸会大学） ； Beijing Normal University（北京师范大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI

AI总结 该研究针对纯合成T2V假新闻视频带来的新威胁，构建了首个纯合成假新闻视频数据集，提出R-T2V框架，在10种主流基准上取得最优检测性能。

Comments Accepted at ACM Multimedia (ACM MM), 2026

Align-RAG: Alignment Is All You Need for TSFM In-Context Learning

Align-RAG：TSFM上下文学习的全部需求在于对齐

Mohammad Asadi, Soheil Hor, Bardiya Akhbari, Jack W. O'Sullivan, Tahoura Nedaee, Layne C. Price, Raviteja Anantha, Euan Ashley, Ehsan Adeli

机构 * Stanford University（斯坦福大学） ； Amazon（亚马逊公司） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 提出无需训练的Align-RAG方法，通过闭式对齐检索窗口，在冻结TSFM上提升检索增强预测性能，证明冻结TSFM可动态整合检索结果，闭式对齐可作为默认基线。

KV-Skill: Forging Expertise in the Model's Native Language

KV-Skill：在模型的原生语言中锻造专业技能

Zhaowei Han, Xiang Zhang, Bing Han, Kai Liu, Danqi Hu, Jie Liu

机构 * University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 该研究提出KV-Skill，通过外部因子化算子存储任务知识，在多基准测试中提升了模型在LiveMath等任务上的准确率，且可独立加载多个技能无明显遗忘。

Comments 17 pages, 4 figures, 18 tables. Zhaowei Han and Xiang Zhang contributed equally to this work. Code: https://github.com/shawnzhg/KV-Skill

Beyond Rotations: AuroOFT for Expressive Quantized Orthogonal Fine-Tuning

超越旋转：用于表达性量化正交微调的AuroOFT

Yue Han, Dianlin Wang

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 该研究针对量化正交微调（qoft）的线性正交变换局限，提出AuroOFT方法，在保留qoft稳定分支的基础上附加零起点门控低秩非线性残差，在Qwen2.5设置上提升性能并减少可训练参数。

CARE-X: Towards Clinically Useful Radiology VLMs with Auxiliary Supervision, Reward-Aligned Learning, and Tool-Augmented Measurement

CARE-X：借助辅助监督、奖励对齐学习与工具增强测量实现临床可用的放射学视觉语言模型

Mercy Prasanna Ranjit, Anirban Porya, Sathvik Joel, Niharika Vadlamudi, Nikhilesh Chowdary Eathamukkala, Prasanth V, Abhyuday Kumara Swamy, Pranay Narhari Umredkar, Pradeep Narayan, Vivek Rajagopal, Tanuja Ganu

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 CARE-X是一款胸部X射线视觉语言模型，通过辅助监督、奖励对齐学习及工具增强测量，在多个医学影像任务上实现了优于基线的性能，缩小了放射科医生需求与现有生成模型间的差距。

MineGrad: Gradient Inversion Attacks on LoRA Fine-Tuning

MineGrad：针对LoRA微调的梯度反演攻击

Hasin Us Sami, Swapneel Sen, Basak Guler

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 指令微调 ：pretraining(abstract)；分类 cs.AI

AI总结 本研究提出MineGrad攻击，可利用中毒预训练模型和微调参数从LoRA微调的共享梯度中分析性恢复用户数据，适用于语言和视觉任务，在多基准上实现高保真数据恢复，揭示了联邦微调的关键隐私漏洞。

Comments 2026 Annual Conference on Artificial Intelligence and Statistics (AISTATS 2026)