语言大模型 / LLM

Disentangling Interaction and Bias Effects in Opinion Dynamics of Large Language Models

大型语言模型中意见动态的交互与偏差效应的分离

Vincent C. Brockers, David A. Ehrlich, Viola Priesemann

机构 * Max-Planck-Institute for Dynamics and Self-Organization（马克斯·普朗克动态与自组织研究所） ； Institute for the Dynamics of Complex Systems（复杂系统动力学研究所） ； University of Göttingen（哥廷根大学） ； Campus Institute for Dynamics of Biological Networks（校园生物网络动力学研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出贝叶斯框架分离主题偏差、同意偏差和锚定偏差，分析LLM在多步对话中的意见轨迹，发现意见快速收敛至共享吸引子，且微调可改变吸引子位置。

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Scaling-Aware Adapter for Structure-Grounded LLM Reasoning

Zihao Jing, Qiuhao Zeng, Ruiyi Fang, Yan Yi Li, Yan Sun, Boyu Wang, Pingzhao Hu

机构 * Department of Computer Science, Western University, London, Canada（加拿大伦敦西方大学计算机科学系） ； Department of Biochemistry, Western University, London, Canada（加拿大伦敦西方大学生物化学系） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Cuttlefish，一种统一多模态大语言模型，通过缩放感知适配器和几何基础适配器，自适应调整结构令牌数量并注入几何线索，以提升异构结构推理性能。

Comments Accepted by ICML 2026

Learnability-Informed Fine-Tuning of Diffusion Language Models

扩散语言模型的可学习性感知微调

Shubham Parashar, Atharv Chagi, Jacob Helwig, Lakshmi Jotsna, Sushil Vemuri, James Caverlee, Dileep Kalathil, Shuiwang Ji

机构 * Department of Computer Science and Engineering, Texas A\&M University, College Station, TX, USA（计算机科学与工程系，德克萨斯A&M大学，College Station, TX, USA） ； Department of Electrical and Computer Engineering, Texas A\&M University, College Station, TX, USA（电气与计算机工程系，德克萨斯A&M大学，College Station, TX, USA） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 针对扩散语言模型（DLM）推理能力提升问题，提出基于可学习性感知的微调算法LIFT，通过在不同扩散时间步对齐训练与信息可用性，在六个推理基准上超越现有SFT基线，在AIME'24和AIME'25上实现高达3倍的相对提升。

Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

超越对数似然：面向模型能力连续体的监督微调概率目标

Gaotang Li, Ruizhong Qiu, Xiusi Chen, Heng Ji, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文系统研究监督微调中不同概率目标函数，发现模型能力连续体决定目标优劣：强模型端偏好先验倾向目标（如-p），弱模型端对数似然最优，并理论解释其转换机制。

Comments ICML 2026

Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs

语言模型知道不该说什么吗？大语言模型中统计预占的因果证据

Dongxin Guo, Jikun Wu, Siu Ming Yiu

机构 * The University of Hong Kong（香港大学） ； Stellaris AI Limited（Stellaris AI有限公司） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过因果干预和竞争性设计，证明大语言模型通过分布竞争（统计预占）习得负面语言知识，与人类可接受性判断高度相关。

Comments Accepted at CoNLL 2026. 21 pages (9 main body + appendices and references); 4 figures, 14 tables

Eyes on VLM: Benchmarking Gaze Following and Social Gaze Prediction in Vision Language Models

Eyes on VLM: 视觉语言模型中注视跟随与社会性注视预测的基准测试

Hengfei Wang, Anshul Gupta, Pierre Vuillecard, Jean-Marc Odobez

机构 * Idiap Research Institute（Idiap研究机构） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 提出EyeVLM评估框架，通过零样本和微调方式测试视觉语言模型在注视跟随（几何视觉处理）和社会性注视预测（社交推理）两个核心任务上的能力，发现当前VLM缺乏精确的注视理解能力。

Comments Under review

FuRA: Full-Rank Parameter-Efficient Fine-Tuning with Spectral Preconditioning

FuRA: 基于谱预条件的全秩参数高效微调

Yequan Zhao, Ruijie Zhang, Liyan Tan, Niall Moran, Tong Qin, Zheng Zhang

机构 * University of California at Santa Barbara（加州大学圣芭芭拉分校） ； Amazon Lab126（亚马逊实验室126） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；instruction tuning(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 提出FuRA方法，通过块张量列车分解实现全秩谱预条件，在保持参数效率的同时提升微调性能，在LLM和VLM任务上优于全微调和LoRA。

Scalable Heterogeneous Graph Foundation Models for Data-Driven Optimal Power Flow in Smart Grids

面向智能电网数据驱动最优潮流问题的可扩展异构图基础模型

Massimiliano Lupo Pasini, Yijiang Li, Kibaek Kim, Teja Kuruganti

机构 * Computational Sciences and Engineering Division, Oak Ridge National Laboratory（橡树岭国家实验室计算科学与工程部） ； Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学部） ； UT-Battelle, LLC（UT-巴特勒公司） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出基于HydraGNN的可扩展异构图神经网络工作流，用于数据驱动最优潮流代理建模和基础模型开发，保留电网异质结构并支持大规模分布式训练与微调。

Comments 10 pages, 6 tables, 4 figures

PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs

PoisonForge: 面向指令微调LLM的任务级定向投毒基准

Luze Sun, Anshuman Suri, Harsh Chaudhari, Cristina Nita-Rotaru, Alina Oprea

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 指令微调 ：LLM(title_cn,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出PoisonForge基准，通过参数化四维威胁（偏差类型、投毒模式、出现次数、目标输出长度）评估12个开源LLM在1%投毒预算下的任务级投毒攻击成功率，发现11个模型ASR超过70%且非目标任务泄露低于0.5%。

PGT: Procedurally Generated Tasks for improving visual grounding in MLLMs

PGT: 用于提升多模态大语言模型视觉定位的程序化生成任务

Rim Assouel, Amir Bar, Michal Drozdzal, Adriana Romero-Soriano

机构 * Mila - Qu\'ebec AI Institute ； FAIR at Meta Superintelligence Labs ； McGill University ； Canada CIFAR AI Chair 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 提出程序化生成任务(PGT)框架，通过叠加几何基元生成密集监督信号，解耦视觉定位能力与语义先验，显著提升多模态大语言模型在细粒度理解任务上的表现。

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

Speak-to-Structure：评估大语言模型在开放域自然语言驱动的分子生成中的表现

Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

机构 * Hong Kong Polytechnic University（香港理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 提出Speak-to-Structure基准，通过分子编辑、优化和定制生成任务评估大语言模型在开放域自然语言驱动分子生成中的创造性能力，并引入OpenMolIns指令微调数据集使Llama3.1-8B超越GPT-4o等模型。

Comments Accepted by KDD 2026. Our codes and datasets are fully accessible through the https://github.com/phenixace/S2-TOMG-Bench and https://huggingface.co/datasets/phenixace/S2-TOMG-Bench

AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning

AGZO：用于大语言模型微调的激活引导零阶优化

Wei Lin, Yining Jiang, Qingyu Song, Qiao Xiang, Hong Xu

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong（香港中文大学计算机科学与工程系） ； Xiamen University, China（厦门大学） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.LG

AI总结 提出激活引导零阶优化方法AGZO，利用前向传播中的激活结构限制扰动到低秩子空间，在保持低内存的同时提升更新方向与真实梯度的余弦相似度，缩小与一阶微调的性能差距。

Comments 21 pages in total, including 9 pages of main text, with 4 figures and 3 tables Accepted by ICML 2026

As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs

作为X，做Y：角色和任务如何在指令微调LLM中结合

Eric Xu

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title_cn)；分类 cs.CL、cs.AI

AI总结 本文研究指令微调LLM中角色提示的加性分解结构，发现角色和任务在残差流中通过部分正交方向贡献，但该结构不意味着提示可压缩，因为角色条件化行为依赖于分布式提示/KV机制。

Comments 12 pages, 1 figure. Code: https://github.com/xuy/localized-additive-composition

TCAP: Tri-Component Attention Profiling for Unsupervised Backdoor Detection in MLLM Fine-Tuning

TCAP: 面向MLLM微调中无监督后门检测的三组件注意力分析

Mingzu Liu, Hao Fang, Runmin Cong

机构 * School of Control Science and Engineering, Shandong University, Jinan, China（控制科学与工程学院，山东大学，济南，中国） ； Key Laboratory of Industrial Intelligent Systems, Shandong Province, China（山东省工业智能系统重点实验室，中国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对微调即服务中的后门攻击，提出基于三组件注意力分布差异的无监督防御框架TCAP，通过高斯混合模型和EM投票聚合检测中毒样本。

Comments ICML 2026

Natural Yet Challenging to Detect: Robust In-the-Wild TTS through EMA and Dual-Scoring Prompt Selection -- Submission for WildSpoof 2026 TTS Track

自然但难以检测：通过EMA和双评分提示选择实现鲁棒的野外TTS——WildSpoof 2026 TTS赛道提交

Renhe Sun, Jiayi Zhou, Haolin He, Yueying Feng, Jian Liu

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 本文提出F5-TTS-DPS模型，通过集成指数移动平均（EMA）和利用大语言模型进行双评分提示选择，在野外数据上生成自然且难以检测的语音，在WildSpoof挑战中取得最佳反欺骗性能。

Gen-Searcher: Reinforcing Agentic Search for Image Generation

Gen-Searcher: 强化搜索代理用于图像生成

Kaituo Feng, Manyuan Zhang, Shuang Chen, Yunlong Lin, Kaixuan Fan, Yilei Jiang, Hongyu Li, Dian Zheng, Chenyang Wang, Xiangyu Yue

机构 * MMLab, CUHK（CUHK的MMLab） ； UCLA（加州大学洛杉矶分校） ； UC Berkeley（加州大学伯克利分校） ； Meituan Home（美团家庭） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 提出Gen-Searcher，首个通过多跳推理和搜索收集文本知识与参考图像的搜索增强图像生成代理，结合SFT和强化学习训练，显著提升生成质量。

Comments Project page: https://gen-searcher.vercel.app Code: https://github.com/tulerfeng/Gen-Searcher

Documentation-Guided Agentic Codebase Migration from C to Rust

文档引导的从 C 到 Rust 的智能代码库迁移

Minh Le-Anh, Anh Nguyen Hoang, Bach Le, Nghi D. Q. Bui

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 提出 RustPrint 框架，通过文档引导的智能体协调，实现仓库级别的 C 到 Rust 迁移，在编译性、特征保留和测试通过率上显著优于现有方法。

Understanding and Improving Noisy Embedding Techniques in Instruction Finetuning

理解与改进指令微调中的噪声嵌入技术

Abhay Yadav

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 指令微调 ：language model(abstract,journal_ref)；分类 cs.AI、cs.LG

AI总结 本文通过理论和实证分析澄清了均匀噪声与高斯噪声在嵌入微调中的性能差异，并提出一种使用对称噪声的新方法SymNoise，在LLaMA-2-7B模型上显著提升了AlpacaEval得分，优于现有方法NEFTune。

Comments arXiv admin note: substantial text overlap with arXiv:2312.01523

Journal ref IEEE International Conference on Language Modeling (COLM), 2025

Model Spec Midtraining: Improving How Alignment Training Generalizes

模型规范中期训练：改进对齐训练的泛化能力

Chloe Li, Nevan Wichers, Sara Price, Samuel Marks, Jon Kutasov

机构 * Anthropic 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 提出模型规范中期训练（MSM），通过在预训练后、对齐微调前用合成文档训练模型学习规范内容，从而引导模型从后续演示数据中泛化，有效降低代理失调率并提升对齐泛化能力。

4DThinker: Thinking with 4D Imagery for Dynamic Spatial Understanding

4DThinker: 用4D图像进行动态空间理解的思考

Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xiang An, Bo Li, Xin Xie, ZiDong Wang, Mingze Sun, Shuang Chen, Hongyu Li, Xiaobin Hu, Ruqi Huang

机构 * Tsinghua University, SIGS（清华大学 SIGS） ； Meituan（美团） ； The Chinese University of Hong Kong（香港中文大学） ； National University of Singapore（新加坡国立大学） ； LMMs-Lab（LMMs实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 提出4DThinker框架，通过动态潜在心理图像（在连续隐藏空间中模拟场景演化）增强视觉语言模型的动态空间推理能力，并引入无标注数据生成、动态图像微调及4D强化学习，在多个基准上超越强基线。

Comments 21 pages, 16 figures