语言大模型 / LLM

Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models

面向天气基础模型的任务自适应参数高效微调

Shilei Cao, Hehai Lin, Jiashun Cheng, Yang Liu, Guowen Li, Xuehe Wang, Juepeng Zheng, Haoyuan Liang, Meng Jin, Chengwei Qin, Hong Cheng, Haohuan Fu

机构 * Sun Yat-sen University（中山大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出WeatherPEFT框架，通过任务自适应动态提示和随机Fisher引导自适应选择，在天气下游任务上以更少参数达到全微调性能。

AsFT: Anchoring Safety During LLM Fine-Tuning Within Narrow Safety Basin

AsFT：在窄安全盆地内锚定大语言模型微调期间的安全性

Shuo Yang, Qihui Zhang, Yuyang Liu, Xiaojun Jia, Kunpeng Ning, Jiayu Yao, Jigang Wang, Hailiang Dai, Yibing Song, Li Yuan

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对微调大语言模型时安全性易受损的问题，提出AsFT方法，通过惩罚与对齐方向正交的更新，将模型约束在窄安全盆地内，在提升任务性能的同时显著降低有害行为。

Emotion-Aware Image Generation from Korean Diary Text via LLM-based Prompt Translation and LoRA Fine-Tuning

基于LLM提示翻译和LoRA微调的韩语日记文本情感感知图像生成

Jihun Cho, Soo-Yeon Jeong, Sun-Young Ihm

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种情感感知文本到图像流水线，利用Qwen3-8B识别短日记中的隐含情感，并通过LoRA微调Stable Diffusion 3.5 Medium生成儿童手绘风格图像，同时探讨情感触发词的影响及CLIP Score作为评估指标的局限性。

Comments 4 pages, 4 figures, 2 tables, MITA 2026

Journal ref Proc. Int. Conf. Multimedia, Information Technology and its Applications (MITA), 2026

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning

Token Buncher: 保护大语言模型免受有害强化学习微调的威胁

Weitao Feng, Lixu Wang, Peizhuo Lv, Tianyi Wei, Jie Zhang, Chongyang Gao, Sinong Zhan, Wei Dong

机构 * Nanyang Technological University（南洋理工大学） ； Centre for Frontier AI Research, A*STAR（前沿人工智能研究中心，A*STAR） ； Northwestern University（西北大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出TokenBuncher，通过限制模型响应熵来防御基于强化学习的有害微调，实验显示其能有效抑制有害行为同时保持正常任务性能。

Comments Accepted by ACM CCS 26

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；SFT(abstract)；RLHF(abstract)

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

TimeRFT: Stimulating Generalizable Time Series Forecasting for TSFMs via Reinforcement Finetuning

TimeRFT：通过强化微调提升TSFMs的时间序列预测通用性

Siyang Li, Yize Chen, Zijie Zhu, Yuxin Pan, Yan Guo, Ming Huang, Hui Xiong

机构 * University of Alberta（阿尔伯塔大学） ； Alibaba Cloud（阿里云） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TimeRFT通过强化微调方法解决时间序列基础模型在特定任务适应中的泛化问题，提升预测精度和抗分布偏移能力。

Comments 15 pages, 8 figures, In Submission

ArenaRL: Scaling RL for Open-Ended Agents via Tournament-based Relative Ranking

ArenaRL: 通过基于比赛的相对排名扩展强化学习以应对开放性智能体

Qiang Zhang, Boli Chen, Fanrui Zhang, Ruixue Ding, Shihang Wang, Qiuchen Wang, Yinfeng Huang, Haonan Zhang, Rongxiang Zhu, Pengyong Wang, Ailin Ren, Xin Li, Pengjun Xie, Jiawei Liu, Ning Guo, Jingren Zhou, Zheng-Jun Zha

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 ArenaRL通过基于比赛的相对排名机制，提升开放性智能体在复杂任务中的表现，实现效率与精度的平衡。

Quantized Evolution Strategies: High-precision Fine-tuning of Quantized LLMs at Low-precision Cost

量化进化策略：以低精度代价实现量化大语言模型的高精度微调

Yinggan Xu, Kajetan Schweighofer, Risto Miikkulainen, Xin Qiu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Cognizant AI Lab（Cognizant AI实验室） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 提出量化进化策略（QES），通过集成累积误差反馈和无状态种子重放，直接在量化空间进行全参数微调，无需反向传播，显著优于现有零阶微调方法。

Comments Added more tasks and baselines

Emergent alignment and the projectability of ethical personas

涌现对齐与伦理人格的可投射性

Guillermo Del Pinal, Youngchan Lee, Calum McNamara, Alejandro Perez Carballo

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；LLM(abstract_cn)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究微调大语言模型在窄任务上如何引发广泛对齐行为，通过宪法AI方法赋予模型伦理人格，发现窄对齐可投射到未训练类别，并提出对齐策略应评估可投射性。

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning

少令牌，大杠杆：在微调期间通过约束安全令牌保持安全对齐

Guoli Wang, Haonan Shi, Tu Ouyang, An Wang

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PACT框架，通过约束安全相关令牌的置信度来防止微调导致的安全对齐漂移，同时保持下游任务性能。

Comments Accepted to KDD 2026

Neural Diversity Regularizes Hallucinations in Language Models

神经多样性调节语言模型的幻觉

Kushal Chakrabarti, Nirmal Balachundhar

机构 * South Park Commons（南公园公馆） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 神经多样性通过解相关并行表示减少语言模型幻觉，结合LoRA适配器与Barlow Twins正则化，提升可靠性并保持准确性。

Journal ref Transactions on Machine Learning Research, 08/2026, ISSN 2835-8856

VENOMREC: Cross-Modal Interactive Poisoning for Targeted Promotion in Multimodal LLM Recommender Systems

VENOMREC: 多模态交互性污染用于多模态大语言模型推荐系统中的定向推广

Guowei Guan, Yurong Hao, Jiaming Zhang, Tiantong Wu, Fuyao Zhang, Tianxiang Chen, Longtao Huang, Cyril Leung, Wei Yang Bryan Lim

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 VENOMREC通过跨模态交互性污染技术，在多模态大语言模型推荐系统中实现定向推广，有效提升推荐性能。

Towards Spatial Trace with Reasoning in Vision-Language Models for Robotics

面向机器人视觉-语言模型的具有推理能力的空间轨迹

Enshen Zhou, Yibo Li, Jingkun An, Jiayuan Zhang, Shanyu Rong, Mengzhen Liu, Yi Han, Yuheng Ji, Huajie Tan, Jiawei He, Pengwei Wang, Zhongyuan Wang, Cheng Chi, Lu Sheng, Shanghang Zhang

专题命中 指令微调 ：language model(title)；SFT(abstract,abstract_cn)

AI总结 本文提出RoboTracer，一种3D感知的视觉语言模型，通过空间编码器和回归监督解码器提升空间推理能力，并结合强化学习训练实现多步度量推理，最终在复杂场景中实现高效空间轨迹生成。

Comments Accepted to ECCV 2026. Project page: https://zhoues.github.io/RoboTracer

Focus Then Listen: An Empirical Study of Plug-and-Play Audio Enhancer for Noise-Robust Large Audio Language Models

先聚焦后聆听：探索用于噪声鲁棒的大规模音频语言模型的即插即用音频增强器

Han Yin, Yang Xiao, Younghoo Kwon, Ting Dang, Jung-Woo Choi

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；foundation model(abstract)

AI总结 提出即插即用的音频增强器FTL，通过分离语音与非语音并利用模态路由器预测目标模态，生成任务自适应增强信号，无需微调即可提升LALMs在噪声环境下的性能。

Comments Accepted by ICML 2026 Workshop (Machine Learning for Audio)

G-Loss: Graph-Guided Fine-Tuning of Language Models

G-Loss：图引导的语言模型微调

Aditya Sharma, Vinti Agarwal, Rajesh Kumar

机构 * BITS Pilani（BITS 派拉尼） ； Bucknell University（巴克内尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。

Comments 20 pages, Learning on Graphs (LoG2025)

Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models

收敛是不可避免的吗？将输出同质性追溯至基础模型

Alexandrine Fortier, Hazel Chen, Peter West

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；pretraining(abstract)；prompting(abstract)；分类 cs.CL

AI总结 该研究指出大语言模型的语义收敛或源于预训练目标，仅靠对齐后干预难缓解，通过实验证实基础模型可被提示诱导类指令式坍缩。

SearchSwarm: Towards Delegation Intelligence in Agentic LLMs for Long-Horizon Deep Research

SearchSwarm：面向长周期深度研究的代理LLM委托智能

Xiaochong Lan, Quan Chen, Kun Tao, Xinyu Tang, Tianshu Wang, Qianggang Cao, Xinyu Kong, Zujie Wen, Zhiqiang Zhang, Jun Zhou

机构 * Tsinghua University（清华大学） ； Peking University（北京大学） ； Ant Group（蚂蚁集团） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） 纠错

专题命中 指令微调 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SearchSwarm框架，通过监督微调将任务分解与委托决策内化到模型权重中，在BrowseComp和BrowseComp-ZH上取得同规模最佳性能。

MARS: Multi-hop Adaptive Retrieval and SPARQL Generation for KGQA

MARS：用于知识图谱问答的多跳自适应检索与SPARQL生成

Nikit Srivastava, Daniel Vollmers, René Speck, Nikolaos Karalis, Hamada M. Zahera, Axel-Cyrille Ngonga Ngomo

机构 * Heinz Nixdorf Institute, Paderborn University（海因茨·尼克斯多夫研究所，帕德博恩大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大型语言模型在知识密集型任务中可靠性受限的问题，提出MARS方法，通过结构化检索过程链接问题实体与知识图谱，迭代获取信息并决定检索深度或生成SPARQL查询，在多个基准测试中性能有竞争力且高效可扩展。

Comments EKAW 2026 (accepted-posters-and-demos" target="_blank" rel="noopener">https://ekaw2026.di.unito.it/accepted-posters-and-demos)

GRISP: Guided Recurrent IRI Selection over SPARQL Skeletons

GRISP：基于SPARQL骨架的引导式递归IRI选择

Sebastian Walter, Hannah Bast

机构 * University of Freiburg（弗赖堡大学） 纠错

专题命中 指令微调 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 GRISP通过微调小型语言模型生成SPARQL骨架并迭代替换占位符，提升知识图谱问答性能，在Wikidata和Freebase基准测试中优于现有方法。

Your Data Manifold is Secretly a Reward Model: Shell-LCC for Text-to-Video Generation

你的数据流形实际上是一个奖励模型：Shell-LCC 用于文本到视频生成

Shihao Zhang, Yunzhi Li, Yuguang Yan, Junzhe Zhang, Wei Zhao, Bohan Wang, Hanwang Zhang

机构 * Huawei Central Research Institute（华为中央研究院） ； Guangdong University of Technology（广东技术大学） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.LG

AI总结 提出 Shell-LCC 方法，通过建模高质量 SFT 数据的流形结构，提供密集、可微且几乎零成本的奖励信号，以提升文本到视频生成质量，减少低层失真。

Comments ECCV 2026

Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline

面向交通工程实践的定制化生成式AI智能体：开发与持续预训练指南

Dianwei Chen, Yuan-Zheng Lei, Zifan Zhang, Yuchen Liu, Xianfeng Yang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 提出基于LoRA框架对六种大语言模型进行持续预训练的方法，以提升其在交通工程领域的专业内容理解与推理能力，Qwen2.5-7B和LLaMA-3.1-8B表现最佳。

Ophiuchus: Incentivizing Tool-augmented "Think with Images" for Joint Medical Segmentation, Understanding and Reasoning

Ophiuchus: 激励工具增强的“图像思考”用于联合医学分割、理解与推理

Yankai Jiang, Yujie Zhang, Peng Zhang, Wenjie Li, Yichen Li, Jintai Chen, Xiaoming Shi, Shihui Zhen

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Information Hub, HKUST (Guangzhou)（信息枢纽，香港科技大学（广州）） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.AI

AI总结 提出Ophiuchus框架，通过三阶段训练策略（冷启动SFT、自反思微调、工具强化学习）使MLLM动态聚焦细粒度视觉区域，实现精准医学分割与诊断。

Point-in-Time Financial RAG with Frozen LLMs and Market-Feedback Adaptive Retrieval

学习信任谁：事件驱动金融RAG中冻结大语言模型的市场反馈自适应检索

Zijie Zhao, Roy E. Welsch

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 针对事件驱动金融RAG，提出通过外部贝叶斯源记忆更新检索层，利用市场反馈自适应选择证据源，在冻结LLM情况下提升预测和投资组合表现。

A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)

对目标指令选择的批判性审视：厘清什么重要（以及什么不重要）

Nihal V. Nayak, Paula Rodriguez-Diaz, Neha Hulkund, Sara Beery, David Alvarez-Melis

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） ； Kempner Institute（凯门研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文系统解构指令微调中目标指令选择的两大核心要素——数据表示与选择算法，发现基于梯度的表示结合贪心轮询选择在低预算下表现最佳，但收益随预算增加而减弱，并统一了多种算法为近似距离最小化。

Comments ICML 2026

Clarify Before You Draw: Proactive Agents for Robust Text-to-CAD Generation

先澄清再绘制：面向鲁棒文本到CAD生成的主动式智能体

Bo Yuan, Zelin Zhao, Petr Molodyk, Bin Hu, Yongxin Chen

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出主动式智能体框架ProCAD，通过澄清代理在代码生成前解决用户提示中的歧义，再通过CAD编码代理生成可执行程序，显著提升鲁棒性，平均Chamfer距离降低79.9%。

Comments ICML 2026

Bimanual Robot Manipulation via Multi-Agent In-Context Learning

通过多智能体上下文学习的双臂机器人操作

Alessio Palma, Indro Spinelli, Vignesh Prasad, Luca Scofano, Yufeng Jin, Georgia Chalvatzaki, Fabio Galasso

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； TU Darmstadt（达姆施塔特技术大学） ； Hessian.AI（黑森AI） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 提出BiCICLe框架，将双臂操作建模为多智能体主从问题，通过解耦动作空间实现标准LLM的少样本学习，在TWIN基准上平均成功率70.5%，超越无训练基线。

MLaGA: Multimodal Large Language and Graph Assistant

MLaGA: 多模态大语言与图助手

Dongzhe Fan, Yi Fang, Jiajin Liu, Djellel Difallah, Qiaoyu Tan

机构 * New York University（纽约大学） ； New York University Shanghai（纽约大学上海） ； New York University Brooklyn（纽约大学布鲁克林） ； Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） ； New York University Abu Dhabi（纽约大学阿布扎克） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出MLaGA模型，通过结构感知多模态编码器和指令微调，将大语言模型扩展到多模态图数据，在监督和迁移学习任务中优于基线方法。

From "Weak" Signals to Strong Models: Preference Delta Aggregation with LoRA Merging

从“弱”信号到强模型：基于LoRA合并的偏好增量聚合

Qi Sun, Siyue Zhang, Yulin Chen, Yuxiang Xue, Ru Peng, Chen Zhao

机构 * NYU Shanghai（纽约大学上海校区） ； NTU（国立台湾大学） ； NYU（纽约大学） ； ZJU（浙江大学） 纠错

专题命中 指令微调 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 提出偏好增量聚合（PDA）框架，通过从弱-更弱模型对中提取偏好增量并转化为LoRA适配器，再经几何对齐合并（GAM）聚合多个“弱”信号，以提升强模型性能。

LoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models

LoCA：视觉基础模型的空间感知低秩卷积自适应

Sojung An, Junha Lee, Sujeong You, Nam Ik Cho, Donghyun Kim

机构 * Korea University（韩国大学） ； Korea Institute of Industrial Technology（韩国产业技术研究院） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究针对视觉基础模型自适应的挑战，提出低秩卷积自适应框架 LoCA，通过解耦通道与空间自适应，引入低秩通道自适应并优化空间基，在多视觉任务中保留预训练空间先验且性能优异。

Comments Accepted by ECCV 2026