语言大模型 / LLM

Two-Stage Bengali Sentiment Classification: Domain Adaptation Through Continual Learning and Parameter-Efficient Fine-Tuning

两阶段孟加拉语情感分类：通过持续学习和参数高效微调实现领域自适应

MD Shaikh Rahman, Syed Maudud E Rabbi, Muhammad Mahbubur Rashid

专题命中 指令微调 ：pretraining(abstract)；分类 cs.CL

AI总结 针对低资源语言情感分析难题，提出结合领域自适应持续预训练与LoRA参数高效微调的SentiBanglaBERT框架，集成SHAP可解释性，实现高效且可解释的孟加拉语情感分类，性能可媲美强基准。

StraightDP: Geometry-Aware Differential Privacy for Rectified-Flow Transformers

StraightDP：面向整流流Transformer的几何感知差分隐私

Xujun Che, Depeng Xu, Xintao Wu

专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG

AI总结 StraightDP利用整流流的几何异质性，通过释放类条件矩结合DP-SGD，在强差分隐私约束下提升文本条件生成模型的下游准确率与生成质量，且可迁移到SD3-medium。

Visual Distribution Anchoring for Efficient Prompt Tuning

用于高效提示调优的视觉分布锚定

Pouya Parsa, Raoof Zare Moayedi, Seongjin Choi

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 本文提出无需训练的VDA框架，用未标记目标池的类级视觉原型增强冻结语义分类器，在10次ImageNet到目标域迁移中显著提升多个视觉-语言模型性能，且与各类分类器互补。

Comments 9 pages, 1 figure

LARA: Lightweight Adapters in the Residual Stream for Composable Adaptation and Alignment

LARA：用于可组合适配与对齐的残差流中的轻量适配器

Pascal Ekin, Hyosun Choi, Wei Jie

机构 * Royal Holloway, University of London（伦敦大学皇家霍洛威学院） ； University of West London（西伦敦大学） 纠错

专题命中 指令微调 ：preference optimization(abstract)；分类 cs.LG

AI总结 本研究提出LARA，一种在冻结模型残差流中运行的轻量适配方法，在参数数量相同时性能与LoRA相当，支持多种行为平滑插值与按token路由，可在单个模型上高效托管多种行为。

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

ZeroR@CHiPSAL 2026：用于尼泊尔表情包分类的对比学习两阶段视觉-语言适配

Nitiz Khanal

机构 * Pulchowk Campus, Institute of Engineering, Tribhuvan University（特里布万大学工程学院普尔乔克校区） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 该研究针对尼泊尔表情包多模态仇恨言论与情感检测任务，适配RA-HMD框架，采用两阶段视觉-语言对比学习方法，取得两项任务的优异排名，为低资源南亚语言适配大模型提供了见解。

Comments 9 pages, 2 figures, system description paper for the CHiPSAL 2026 shared task at LREC 2026

Journal ref Proceedings of the Second Workshop on Challenges in Processing South Asian Languages (CHiPSAL 2026) @ LREC 2026, pages 275-283, Palma, Mallorca, Spain, 16 May 2026. ELRA Language Resources Association (ELRA). ISBN 978-2-493814-66-1

One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

统一多语言多模态的LVLM安全对齐：一个通用锚点

Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 针对LVLM面临的多语言多模态复合攻击防御难题，提出MLS-Neurons驱动的跨维度安全对齐框架，仅更新约0.03%参数实现安全监督迁移，在多语言多模态安全基准上性能优于SOTA且保留通用实用性。

How Small Can You Go? A Controlled Study of LoRA Rank, Target Modules, and Quantization Trade-offs for Text-to-SQL on a 60M-Parameter Model

你能做多小？关于60M参数模型上文本到SQL的LoRA秩、目标模块和量化权衡的对照研究

Mahendra Singh Rathor, Anagheem Azzam

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究在60M参数模型上文本到SQL时，LoRA秩、目标模块和量化的权衡。通过对照单变量研究，发现r = 16的LoRA在训练参数少、内存消耗低时接近全量微调准确性，QLoRA的INT8和NF4量化以低内存成本实现可比准确性，为内存受限部署提供方案。

Comments 8 pages, 3 figures, 3 tables

Inverse RL Helps Align AI by Imitating Humans

逆强化学习通过模仿人类帮助对齐人工智能

Michał Wiliński, Liu Leqi, Chirag Nagpal

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究语言模型对齐问题，受逆强化学习启发提出PARED方法，通过恢复示范的隐式奖励来改进基础策略，无需特定任务偏好注释，经实验验证其有效性及可用于上下文对齐。

Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

危害并非普遍存在：迫切需要针对特定社区的毒性检测

Xinnuo Xu, Anja Thieme, Daniela Massiceti, Ioana Tanase, Rita Marques, Melanie Fernandez Pradier, Martin Grayson, Camilla Longden, Cecily Morrison

机构 * Microsoft Research Cambridge, UK（英国剑桥微软研究院） ； Microsoft Paris, France（法国巴黎微软） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究指出文本到图像生成的通用毒性检测方法不能保护边缘化社区，主张特定社区毒性检测（CTD）。通过与专家合作制定指南，利用图像数据集实验表明现有模型表现不佳，基于提示的方法和参数高效微调可提升性能，但CTD性能仍远低于通用检测，需持续研究。

Comments 18 pages, under review

What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features

CLIP 所知道但无法表达的：从冻结的中间特征中恢复否定信息

Chen-Yi Lu, Yueh-Shao Chen, Somali Chaterji

机构 * Purdue University（普渡大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 对比视觉语言模型如CLIP对否定不敏感，研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch，在不改变预训练权重下恢复否定信号，通过特定网络提取信号、预测偏差向量等，经实验验证其有效性及泛化性。

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

用于性别包容性改写和反叙事生成的激活引导的LoRA

Akhil Rajeev P, Manoj Balaji J

机构 * IHLC（未提及具体中文译名） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

AI总结 本文针对LT-EDI 2026共享任务，用参数高效的LoRA微调实现性别包容性改写，还用推理时表示工程方法结合约束提示生成反叙事，通过PCA得出主引导方向注入中间表示，取得一定分数，同时分析了引导行为的关键失败模式。

Emergent Misalignment Recruits a Pre-existing Persona Subspace

新兴的不一致性招募了预先存在的角色子空间

Mohammed Suhail B Nadaf

机构 * Qwen Team（通义团队） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 研究新兴不一致现象，通过从冻结模型提取角色子空间发现其在微调前就存在，微调第一步提升不一致幅度，投影子空间可防广泛不一致，注入子空间会致模型不一致，多种编辑无效，传播不良数据增加不一致。

Comments 108 pages (19 pages main text, 13 appendices), 13 figures

FormulaSPIN: Self-Play Fine-Tuning for Natural Language to Spreadsheet Formula Generation

FormulaSPIN：用于自然语言到电子表格公式生成的自博弈微调

Cy Xie

专题命中 指令微调 ：SFT(abstract)；分类 cs.AI

AI总结 研究自然语言到电子表格公式生成问题，提出FORMULASPIN自博弈框架，利用公式生成优势及双人博弈实现迭代自我改进，引入ExecVote提高准确性，实验证明其性能达最优，凸显自博弈解决稀缺数据任务的潜力。

Comments 15 pages,7 figures, 14 tables. Accepted to ACL 2026 Main Conference Oral

What Transfers Under Source Shift? Definitions, Examples, and Fine-Tuning for Climate Disclosure Classification

源转移下什么能迁移？气候披露分类的定义、示例和微调

Guosheng Li, Fenghui Ren, Bin Liu, Chuan Yu, Kaiying Ji, Lin Yue, Jun Shen, Sasa Qian

机构 * School of Computing and Information Technology, University of Wollongong（卧龙岗大学计算与信息技术学院） ； School of Business, University of Wollongong（卧龙岗大学商学院） ； Business School, University of Sydney（悉尼大学商学院） ； Business School, Macquarie University（麦考瑞大学商学院） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 研究将气候披露分类视为跨源适应问题，在11个大语言模型上研究定义、示例和微调三种策略，发现最强源内策略非最强跨源策略，随机示例跨源优势更可靠，定义转移最一致，源变化时简单策略更安全。

Comments 15 pages, 12 figures. Code: https://github.com/Leoccino/TCFD-SourceShift

Robust Summarization of Doctor-Patient Conversations: TalTech Systems for the Beyond Transcription Challenge

医患对话的稳健摘要：超越转录挑战的塔尔图大学系统

Aivo Olev, Tanel Alumäe

机构 * TalTech（塔林理工大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 塔尔图大学针对超越转录挑战，筛选鲁棒语音语言模型，用LoRA微调及DAPO强化学习调整Voxtral模型。其系统在两轨道夺冠，幻觉率最低，还表明微调文本转录本能提升语音输入鲁棒性。

Comments SLT 2026 BeTraC

A Systematic Evaluation of Trajectory Data Curation for LoRA Fine-Tuning of Code Agents

代码智能体LoRA微调的轨迹数据管理系统评估

Yunze Han

专题命中 指令微调 ：SFT(abstract)；分类 cs.AI

AI总结 研究代码智能体LoRA微调中轨迹数据管理，提出效率和风格两轴质量评分框架，经16个控制实验评估，揭示规模依赖的质量-数量权衡及错误重试率是主要子维度，为代码智能体监督微调提供可行手段与评估协议。

Comments 12 pages, 2 figures. Author's accepted manuscript of a paper published in the ICIC 2026 proceedings (oral presentation)

Journal ref In: Huang, D.S., Li, B., Zhang, Q., Bao, W. (eds) Advanced Intelligent Computing Technology and Applications. ICIC 2026. Lecture Notes in Computer Science, vol 16669, pp. 39-50. Springer, Singapore (2027)

AI Agents Do Not Fail Alone:The Context Fails First

人工智能智能体并非独自失败：上下文首先失败

Fouad Bousetouane

机构 * The University of Chicago（芝加哥大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI

AI总结 研究人工智能智能体可靠性，通过ProofAgent-Harness评估上下文七个标准，验证上下文工程质量是智能体可靠性的领先指标，经受控研究表明上下文质量标准可预测行为结果，确立其为预检信号及可审计层。

Comments 24 pages, 1 figure

SeeSE3: Emergence of 3D Space in Vision Features

SeeSE3：视觉特征中3D空间的出现

Caroline Chen, Sayna Ebrahimi, Fedor Kitashov, Ming-Hsuan Yang, Leonidas Guibas, Viorica Pătrăucean, Maks Ovsjanikov

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.AI

AI总结 研究视觉基础模型构建的表征与3D欧几里得空间内在属性的关系，提出从拓扑和几何角度评估的探测器，发现自监督视觉模型有相关潜在子空间，并基于此提出“潜在空间导航”技术用于视觉里程计和定位。

Screening of Biosecurity Features in Metagenomic Data with Evo 2 Probes

使用Evo 2探针筛选宏基因组数据中的生物安全特征

Jeremy Guntoro, Alexander Dack, Dylan Danno, Michaela Jančovičová, Križan Jurinović, Vanessa Smilansky

机构 * Department of Bioengineering, Imperial College London（帝国理工学院生物工程系） ； John Innes Centre（约翰·英尼斯研究中心） ； Independent Research Scientist（独立研究者） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 研究利用Evo 2探针在宏基因组数据中筛选生物安全特征，通过训练线性和注意力探针检测抗菌抗性及细菌毒力等，发现其在检测AMR等方面效果良好，可作为快速低成本首过检测层，明确了该方法的优势与局限。

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

TRACE：通过信用估计进行长期奖励分配的回合级奖励分配

Leitian Tao, Baolin Peng, Wenlin Yao, Tao Ge, Hao Cheng, Mike Hang Wang, Jianfeng Gao, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.LG

AI总结 研究针对多轮智能体训练后的信用分配难题，提出TRACE方法，通过特定状态转换、对数概率获取及转换等步骤进行奖励分配。该方法无需额外训练，在长期复杂搜索任务中显著提升基础模型工具使用能力，在基准测试中表现良好且学习曲线更佳。

Comments 26 pages

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

语言模型进行同步语音翻译需要架构改变吗？一种前缀到前缀的数据驱动方法

Junkun Chen, Jian Xue, Ming Tang, Abdel Heba, Hoda Gholami, Ruchao Fan, Jinyu Li

机构 * Microsoft（微软） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL

AI总结 研究同步语音翻译中仅解码器语言模型面临的挑战，提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法，经实验其在可比延迟下提升了流质量，证明无需架构改变可有效实现同步语音翻译。

Accepted Prefixes Are Not All You Need: A Negative Result on PEFT-Based Block-Diffusion Drafting

接受前缀并非全部所需：基于PEFT的块扩散草稿生成的负面结果

Abdurrahman Javat, Allan Kazakov

机构 * Bahçeşehir University（巴赫切希尔大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究基于PEFT - BD的推测性解码方法，虽有避免分词器不匹配等优点，但在Qwen3 - 0.6B实验中未实现实际加速，因草稿生成器计算不高效。结果表明成功推测性解码需草稿生成器执行成本远低于验证器。

StoryTeller: Training-Free Narrative Grounding for Long-Form Audio Description

StoryTeller：用于长格式音频描述的免训练叙事接地

Seung Hyun Hahm, Minh T. Dinh, SouYoung Jin

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究针对长格式音频描述问题，提出免训练的StoryTeller框架。它通过维护叙事记忆跨场景传递信息，仅用原始视频和标题，经语义过滤等确保信息准确。引入StoryAD-QA基准测试，实验证明该框架显著提升了叙事相关能力。

Comments Accepted to the European Conference on Computer Vision (ECCV) 2026

Language Re-generation: An investigation into information locality effects on reconstruction

语言再生：信息局部性对重构影响的研究

Amirhossein Mohammadi, Laurence E. Frank, Albert Gatt, Robert A. Bagheri

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 研究信息局部性对语言模型恢复自然语言的影响，通过微调预训练的GPT-2模型从三种扰动类型重构自然英语，发现恢复结构有局部性偏好，揭示架构偏差，且恢复难度与可学习性难度相关，表明信息局部性是共同约束。

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

EmoStyle：用于情感图像生成的风格专家情感调节

Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI

AI总结 针对情感感知艺术图像生成中训练与测试时属性不一致造成的控制差距问题，提出EmoStyle框架，利用语言模型推理器预测情感线索，编码情感字段指导生成，训练专用LoRA适配器结合风格表达情感，经视觉语言模型引导排序，在挑战赛中获佳绩。

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

一种新兴的海市蜃楼：新兴的错位与重新对齐真的是一种稳健的现象吗？

Abhinav Rao, Liancheng Gong, Bin Hu, Atharva Naik

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 研究新兴错位与重新对齐现象，通过受控微调循环研究其循环过程及相关表现，发现错位和重新对齐对数据集表面特征敏感，先前机制特征与行为错位不始终相关，指出当前EM证据欠稳健，需控制数据集伪像的评估协议。

CLAP: Direct VLM-to-VLA Adaptation via Language-Action Grounding

CLAP：通过语言-动作基础实现从视觉语言模型到视觉语言动作模型的直接适配

Yuri Ishitoya, Jeremy Siburian, Masashi Hamaya, Kuniaki Saito, Cristian C. Beltran-Hernandez, Mai Nishimura

机构 * Ochanomizu University（御茶水女子大学） ； University of Tokyo（东京大学） ； OMRON SINIC X Corp（欧姆龙（中国）有限公司） 纠错

专题命中 指令微调 ：post-training(abstract)；分类 cs.AI

AI总结 研究如何将预训练视觉语言模型直接转换为视觉语言动作模型，核心方法是提出CLAP，通过在数字动作序列前加自然语言描述来解决输出分布不匹配问题，单轮微调效果良好，还将发布多尺度紧凑VLA家族助力能力转移分析。

Comments Project website: https://omron-sinicx.github.io/clap/

Large Behavior Model: A Promptable Digital Twin of the Retail Customer

大型行为模型：零售客户的可提示数字孪生体

Wachiravit Modecrua, Krittin Pachtrachai, Touchapon Kraisingkorn

机构 * Amity Research and Application Center (ARAC), Amity AI Holdings Co., Ltd.（友好研究与应用中心（ARAC），友好人工智能控股有限公司） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 研究旨在解决客户行为建模问题，提出大型行为模型（LBM），通过统一公式从零售交易学习客户决策，经多种训练方式优化。该模型在多任务中表现出色，消融研究揭示各因素作用，为客户数字孪生体和行为模拟提供可扩展基础。

Comments 17 pages, 5 figures

Write-Protected Discrete Bottlenecks for Language-Grounded World Models: A Structural Limitation and Sufficient Fix

用于语言基础世界模型的写保护离散瓶颈：一种结构限制及充分修复

Jiayi Fang

机构 * Shanghai University of Finance and Economics（上海金融学院） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

AI总结 研究语言与世界模型离散符号系统的交互问题，提出防止基于Gumbel-softmax的离散符号瓶颈失败的三个约束，经实验验证该方法能实现高基础准确率，且修复参数少、无需微调。

Comments 20 pages, 7 figures. Preprint

Evaluating Fine-Tuning and Metrics for Neural Decompilation of Dart AOT Binaries

评估Dart AOT二进制文件神经反编译的微调与指标

Raafat Abualazm, Ayman AboElhassan, Amr G. Wassal

机构 * Cairo University Computer Engineering Department, Faculty of Engineering（开罗大学计算机工程系，工程学院） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对Dart AOT二进制文件神经反编译，在新基准上用三个指标评估六种微调模型变体，发现无微调配置能显著提升pass@k，存在跨语言干扰及指标差异，指出汇编序列长度是任务难度关键预测指标，贡献新基准等并明确pass@k为主要评估指标。

Comments Under review at ACM Transactions on Software Engineering and Methodology (TOSEM)