语言大模型 / LLM

From Financial Sentiment Classification to Return Predictability: A QLoRA Benchmark of Large Language Models

从金融情感分类到收益可预测性：大型语言模型的QLoRA基准测试

Fusheng Luo

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.LG

AI总结 该研究构建金融情感分类基准，对比TF-IDF朴素贝叶斯等模型，发现QLoRA可提升Qwen2.5性能，但分类准确率高的模型在收益预测的经济有效性上无显著优势，揭示分类准确率与可交易信号的差距。

Comments Waiting to submit to a conference (ICAIF)

HyPASE: Hyperbolic Geometry for Parameter-Efficient Speech Emotion Fine-Tuning Framework for Large Audio-Language Models

HyPASE：用于大音频语言模型的参数高效语音情感微调框架的双曲几何方法

Tian Jin, Ruikang Zhang, Zefeng Zhao, Ding Luo, Jin Zeng

机构 * Tongji University（同济大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出HyPASE双曲PEFT框架，利用庞加莱球模型及HGA、EMCA组件，在MELD、IEMOCAP等数据集上优于欧氏PEFT基线，实现高效的大音频语言模型语音情感微调。

MERaLiON-GR: Speech Gender Recognition Model for English and SEA Languages

MERaLiON-GR：适用于英语及东南亚语言的语音性别识别模型

Qiongqiong Wang, Ai Ti Aw, Nancy F. Chen, Ying Lay Chiu, Yang Ding, Yingxu He, Ridong Jiang, Zhuohan Liu, Yanfeng Lu, Yi Ma, Muhammad Huzaifah, Nabilah Binte Md Johan, Nattadaporn Lertcheva, Pham Minh Duc, Sailor Hardik Bhupendra, Siti Umairah Binte Mohammad Salleh, Shuo Sun, Tarun Kumar Vangani, Jeremy H. M. Wong, Jinyang Wu, Longyin Zhang

机构 * Institute of Advanced Intelligence and Computing (IAIC), A*STAR（先进智能与计算研究院（IAIC），新加坡科技研究局） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出MERaLiON-GR语音性别识别模型，通过微调MERaLiON-SpeechEncoder-2并结合LoRA及多尺度ECAPA-TDNN网络，在多语言东南亚数据集上性能优于Vox-Profile和Audio-LLM，凸显专用语音模型的价值。

MOON3.0: Reasoning-aware Multimodal Representation Learning for E-commerce Product Understanding

MOON3.0: 基于推理的多模态表示学习用于电商产品理解

Junxian Wu, Chenghan Fu, Zhanheng Nie, Daoze Zhang, Bowen Wan, Wanxian Guan, Chuan Yu, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MOON3.0通过多头模态融合、联合对比与强化学习框架及细粒度残差增强模块，提升电商产品细粒度属性建模能力，并在大规模多模态电商基准MBe3.0上实现零样本最优性能。

Comments Accepted by the 34th ACM International Conference on Multimedia (ACM MM), 2026. 10 pages, 6 figures

Neural Diversity Regularizes Hallucinations in Language Models

神经多样性调节语言模型的幻觉

Kushal Chakrabarti, Nirmal Balachundhar

机构 * South Park Commons（南公园公馆） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 神经多样性通过解相关并行表示减少语言模型幻觉，结合LoRA适配器与Barlow Twins正则化，提升可靠性并保持准确性。

Journal ref Transactions on Machine Learning Research, 08/2026, ISSN 2835-8856

Personalized Federated Sparse Adaptation of Time-Series Foundation Models

时间序列基础模型的个性化联邦稀疏适配

Priyanka Nihalchandani, Naman Srivastava, Varun Ojha, Pandarasamy Arjunan

机构 * Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（罗伯特·博世网络物理系统中心，印度科学学院） ； School of Computing, Newcastle University（纽卡斯尔大学计算学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对时间序列基础模型在建筑能源预测联邦适配中存在的参数共享策略适配性不足问题，提出异构混合专家适配器的个性化联邦稀疏适配框架，经50栋建筑及3种主干网络验证，性能优于全局及本地适配方法。

Comments 15 pages

MarsCast: Transfer Learning of AI Weather Foundation Models to Planetary Atmospheres

MarsCast：将AI天气基础模型的迁移学习应用于行星大气

M. L. Carroll, J. Li, S. D. Guzewich, G. Villanueva, J. A. Caraballo-Vega, M. J. Frost

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究将地球天气基础模型GraphCast适配为火星版本MarsCast，经微调后可模拟火星大气动力学，为行星天气预报及相关任务提供支持。

SleepVLM: A Rule-Grounded Vision-Language Model for Auditable Sleep Staging

SleepVLM：基于视觉语言模型的可解释且规则驱动的睡眠分期

Guifeng Deng, Pan Wang, Mengfan Niu, Jiquan Wang, Shuying Rao, Junyi Xie, Xi'ang Chen, Sha Zhao, Gang Pan, Wanjun Guo, Tao Li, Haiteng Jiang

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出SleepVLM，一种基于规则驱动的视觉语言模型，通过多通道PSG波形图像进行睡眠分期，并生成符合AASM评分标准的临床可读解释，在保持高准确率的同时提升可解释性。

How Developers Experience Debugging Unfamiliar Codebases with Code Tours Generated and Evaluated by Local LLMs

开发者使用本地大语言模型生成和评估的代码导航体验陌生代码库调试的研究

Martin Balfroid, Julien Albert, Dzenatan Aliti, Xavier Devroey, Benoît Vanderose

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 该研究探讨开发者使用本地大语言模型生成评估的代码导航调试陌生代码库的体验，明确代码导航组件属性对开发者的影响，为优化代码导航生成与评估提供方向。

GeoReward: Mitigating Contextual Variable Overestimation in Vision-Language Models for Cross-Market Preference Prediction

GeoReward：缓解跨市场偏好预测的视觉语言模型中的上下文变量高估问题

Shuo Liu, Huixiang Cai, Weiru Zhang, Xiaoyi Zeng

机构 * Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究针对视觉语言模型的上下文变量高估问题，提出GeoReward奖励模型，通过三种机制缓解该偏差，在跨市场广告偏好预测任务中性能优于现有基线。

DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech

DELTA-TTS：将自回归模型适配为扩散语言模型以实现文本转语音

Junwon Moon, Yejin Lee, Seungbeom Kim, Hoseong Ahn, Sewoong Park, Heeseung Kim, Kyuhong Shim

机构 * Sungkyunkwan University（首尔大学） ； University of Seoul（首尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 针对自回归TTS推理慢、鲁棒性差的问题，提出基于LoRA的轻量适配框架DELTA-TTS，将预训练AR TTS转为离散扩散语言模型，推理速度提升3.3倍且性能更优。

Comments ICML 2026 SPIGM Workshop

OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling

OctoLong：跨仓库代码上下文的训练中优化增强长上下文建模

Indraneil Paul, Falko Helm, Goran Glavaš, Iryna Gurevych

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出OctoLong流水线，通过跨仓库代码上下文的训练中优化，训练出OctoLong-Instruct长上下文开源LMs，用其替代12%传统语料库可显著提升长上下文相关任务性能及短场景API使用能力。

Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning

梯度免疫：对恶意微调的零空间抗性

Yuxuan Huang, Xingyu Zeng, Tianhang Zheng, Chaochao Lu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对部分保护开放权重（PPOW）发布场景的大型语言模型，提出单向安全门（USG）防御，可抑制恶意微调的有害梯度，提升恶意下游适应的成本且无需下游用户配合。

A Model Merging Approach for Continual MLLM Unlearning

面向持续多模态大语言模型（MLLM）遗忘的模型合并方法

Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有MLLM遗忘方法无法应对持续场景的问题，本文提出MCU方法，通过动态合并遗忘适配器缓解跨任务依赖的干扰，在多个基准测试中实现了更优的遗忘效果与知识保留。

Comments 17 pages, 5 figures

SpecDrop: Parameter-Free Category-Conditioned Routing for Modular Specialization

SpecDrop：无参数类别条件路由的模块化专业化方法

Boyao Wang, Zhihan Lei

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出无参数类别条件路由方法SpecDrop，在视觉任务上性能优于参数匹配基线，表明路由的有效性取决于训练信号粒度与类别的对齐而非路由算法。

Comments 35 pages, 6 figures. Code: https://github.com/Beryex/SpecDrop

ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment

ABSeeker：通过答案回溯信用分配训练长程搜索智能体

Yijun Lu, Rui Ye, Jiajun Wang, Yuwen Du, Tian Jin, Songhua Liu, Siheng Chen

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出答案回溯信用分配框架，训练ABSeeker智能体，在BrowseComp等数据集上性能优于同规模模型，接近30B级大模型。

Looking in the Mirror: Introspecting Side-Effect Misalignments Induced by Fine-Tuning

镜像审视：微调引发的副作用对齐偏差内省

Kotaro Yoshida, Laura Gomezjurado Gonzalez, Yukinori Yamamoto, Yuji Naraki, Ryotaro Shimizu, Wenya Wang

机构 * Institute of Science Tokyo（东京科学大学） ； ZOZO Research（ZOZO研究所） ； Stanford University（斯坦福大学） ； Waseda University（早稻田大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对微调引发的副作用对齐偏差问题，提出了Delta感知内省适配器（DAIA），构建了对应数据集，实验显示DAIA性能优于现有内省适配器且泛化性良好。

Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation

超越狄拉克 delta：缓解强化微调中的多样性崩溃以实现多功能图像生成

Jinmei Liu, Haoru Li, Zhenhong Sun, Chaofeng Chen, Yatao Bian, Bo Wang, Daoyi Dong, Chunlin Chen, Zhi Wang

机构 * Nanjing University（南京大学） ； Australia National University（澳大利亚国立大学） ； Wuhan University（武汉大学） ； National University of Singapore（新加坡国立大学） ； University of Technology Sydney（技术科技大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI、cs.LG

AI总结 DRIFT通过激励输出多样性缓解强化微调中的多样性崩溃，提升图像生成的多样性和任务对齐能力。

Time-to-Move: Training-Free Motion Controlled Video Generation via Dual-Clock Denoising

Assaf Singer, Noam Rotstein, Amir Mann, Ron Kimmel, Or Litany

机构 * Technion – Israel Institute of Technology（技术ion – 以色列理工学院） ； NVIDIA（NVIDIA公司） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.AI、cs.LG

Journal ref International Conference on Learning Representations (ICLR), 2026

When Do PEFT Adaptations Leak Structure? Measuring Black-Box Structural Bounds in Public-Base Model Services

参数高效微调（PEFT）适配何时会泄露结构？测量公共基础模型服务中的黑盒结构边界

Zhongjiang Yao, Shuangshuang Liang, Chun Yang, LiWei Chen, Gang Shi

专题命中 指令微调 ：foundation model(abstract)

AI总结 本研究提出VectorHijack-SR方法，测量公共基础模型PEFT适配的结构泄露边界，发现PEFT服务会泄露结构与版本信息，且存在可见性-可利用性差距。

Comments Submitted to USENIX Security 2027

On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing

遥感领域基于视觉语言模型的联邦学习中适配策略的有效性研究

Simon Lösche, Barış Büyüktaş, Mathis Adler, Angelos Zavras, Ioannis Papoutsis, Begüm Demir

机构 * BIFOLD - Berlin Institute for the Foundations of Learning and Data（BIFOLD - 柏林学习与数据基础研究所） ； Technische Universität Berlin（柏林工业大学） ； National Technical University of Athens（雅典国家技术大学） ； National Observatory of Athens（雅典国家天文台） ； Harokopio University of Athens（哈罗科皮奥雅典大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本文针对遥感图像分类场景，首次对比全微调、LoRA等四种VLM适配策略在联邦学习中的表现，给出不同约束下的策略选择指南。

Comments Accepted at the SPIE Artificial Intelligence and Image and Signal Processing for Remote Sensing, Edinburgh, Scotland, 2026

Can Post-Training Transform LLMs into Causal Reasoners?

训练后能否将大语言模型转变为因果推理者？

Junqi Chen, Sirui Chen, Chaochao Lu

机构 * Shanghai Artificial Intelligence Library（上海人工智能图书馆） ； Fudan University（复旦大学） ； Tongji University（同济大学） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；post-training(title,abstract)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文通过CauGym数据集评估了训练后方法对LLM因果推理能力的提升，发现适当训练可使小型模型在因果推理任务中超越大模型。

Private Direct Preference Optimization for LLM Alignment

面向大语言模型对齐的私有直接偏好优化

Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；preference optimization(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究针对DPO的隐私缺陷，提出PrivDPO方法，通过沿偏好轴添加校准随机性实现偏好隐私，在对齐基准和LLM上取得了更好的隐私-效用权衡。

Comments accepted for publication at CCS 2026, extended version

Bidirectional Resource Scheduling for Disaggregated and Asynchronous RL Post-Training

用于解耦和异步强化学习后训练的双向资源调度

Zhiqiang Tan, Maoxin Wang, Sijie Wang, Yiming Yin, Qiang Wang, Xiaowen Chu, Shaohuai Shi

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文针对不同RL设置和工作负载下资源常空闲的问题，提出BiDiRL架构，通过开发热切换运行时、基于时间性能建模的规划器及双向调度器，减少资源空闲，在32-GPU测试平台上显著提高RL训练吞吐量。

Comments 16 pages

Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

多任务GRPO：跨任务的可靠大语言模型推理

Shyam Sundhar Ramesh, Xiaotong Ji, Matthieu Zimmer, Sangwoong Yoon, Zhiyong Wang, Haitham Bou Ammar, Aurelien Lucchi, Ilija Bogunovic

机构 * UCL Department of EEE（伦敦大学学院电子工程系） ； UCL Centre for AI（伦敦大学学院人工智能中心） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； UNIST Graduate School of AI（延世大学人工智能研究生院） ； University of Edinburgh（爱丁堡大学） ； University of Basel（巴塞尔大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出MT-GRPO算法，通过动态调整任务权重和比例保持采样器，提升多任务场景下大语言模型的可靠推理性能。

Comments Accepted at ICML 2026

Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

基于多智能体视角偏好优化的性别歧视检测学习

Hadi Mohammadi, Tina Shahedi, Robert A. Bagheri, Mehdi Dastani, Masoume M. Raeissi

机构 * Utrecht University（乌得勒支大学） ； Wageningen University & Research（瓦赫宁根大学及研究中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究针对性别歧视检测中标注分歧问题，提出MAP-PO框架，通过聚类标注者并训练对应智能体，结合个体与团队奖励协调智能体，实验验证了聚类训练及团队信号的必要性。

Comments 17 pages, 12 figures, 14 tables. Preprint; under review at EACL 2027 (ACL Rolling Review, August 2026 cycle). Code and data: https://github.com/mohammadi-hadi/MAP-PO

Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

训练多模态大语言模型（MLLMs）说“不”：基于拒绝校准GRPO的广义指代表达理解

Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 针对MLLMs因训练缺负样本导致无法拒绝不存在对象的问题，提出RC-GRPO方法，在保持定位精度的同时增强拒绝能力，在三个GREC基准上表现优异。

CARGO-VL: Counterfactual Arbitration with Risk-Constrained Group Optimization for Vision-Language Models

CARGO-VL：面向视觉-语言模型的风险约束组优化反事实仲裁方法

De Jiang, Zhengyang Zhang, Kehong Yuan, Shaohua Ma

专题命中 后训练与偏好优化 ：language model(title)；post-training(abstract)；分类 cs.AI

AI总结 本研究提出CARGO-VL框架，结合XMC资源，通过组相对优化及原对偶控制器，提升视觉-语言模型的反事实仲裁性能，在多基准上优于逐点基线。

Optimizing What Policies Learn From: Recoverability-aware Rollout Intervention Learning

优化策略的学习内容：可恢复性感知的展开干预学习

Zheyuan Zhang, Manqing Mao, Hong Wang, Zhuoer Wang, Samson Koelle, Jie Yuan, Yanjun Lin, James Feng, Nikki Lijing Kuang, Yanfang Ye, Wei Niu

机构 * University of Notre Dame（圣母大学） ； Amazon, Inc（亚马逊公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有大语言模型后训练中展开分配的局限，本文提出RAIL框架，将干预选择建模为在线上下文博弈问题，可在有限展开预算下提升性能，为生成高质量展开提供原则性方法。

SpecRoll: Fast-Slow Verifier-Feedback Adaptation for Speculative Reinforcement Learning Rollouts

SpecRoll：用于投机强化学习rollout的快慢校验器反馈自适应方法

Nhat Minh Pham, Duy Tung Doan, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui

机构 * VNU University of Engineering and Technology（越南国家大学河内理工大学） ； Viettel AI（越南电信人工智能公司） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 SpecRoll是一种投机强化学习rollout引擎，通过快慢双时间尺度自适应结合相关校验机制，在5个1.5B-14B模型和3个数学推理数据集上，相比普通GRPO和FastGRPO实现了生成与端到端速度的显著提升。