语言大模型 / LLM

Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction

增强大型语言模型在金属有机框架结构预测中的空间推理能力

Mianzhi Pan, JianFei Li, Peishuo Liu, Botian Wang, Yawen Ouyang, Yiming Rong, Hao Zhou, Jianbing Zhang

机构 * National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； Nanjing University（南京大学） ； Institute of AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； ChemBIC（化学信息学中心） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 针对MOF结构预测中原子数量多、复杂度高的问题，提出MOF-LLM框架，通过空间感知持续预训练、结构监督微调和匹配驱动强化学习，增强Qwen-3 8B模型的空间推理能力，实现35.78%匹配率和0.04秒/结构的采样效率。

Comments KDD 2026

Emergence of Context Characteristics Sensitivity in Large Language Models

大型语言模型中上下文特征敏感性的涌现

Nadya Yuki Wangsajaya, Haeun Yu, Isabelle Augenstein

机构 * Nanyang Technological University（南洋理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段，发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化，其中监督微调使模型倾向于使用易理解的上下文，而后续阶段可能强化或改变这一偏好。

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；post-training(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。

Language-based Trial and Error Falls Behind in the Era of Experience

基于语言的试错在经验时代落后了

Haoyu Wang, Guozheng Ma, Shugang Cui, Yilun Kong, Haotian Luo, Li Shen, Mengya Gao, Yichao Wu, Xiaogang Wang, Dacheng Tao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SFT(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM在非语言环境中探索成本高的问题，提出SCOUT框架，用轻量级模型探索环境，通过SFT和RL激活LLM的世界知识，显著提升性能并降低计算开销。

Just-In-Time Reinforcement Learning: Continual Learning in LLM Agents Without Gradient Updates

即时强化学习：无需梯度更新的LLM智能体持续学习

Yibo Li, Zijie Lin, Ailin Deng, Xuan Zhang, Yufei He, Shuo Ji, Tri Cao, Bryan Hooi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出JitRL框架，通过动态非参数记忆和即时优势估计，无需梯度更新即可实现LLM智能体的测试时策略优化，在WebArena和Jericho上达到训练无关方法最优，且性能超越微调方法，成本降低30倍以上。

Benchmarking Empirical Privacy Protection for Adaptations of Large Language Models

大语言模型适配的实证隐私保护基准测试

Bartłomiej Marek, Lorenzo Rossi, Vincent Hanke, Xun Wang, Michael Backes, Franziska Boenisch, Adam Dziedzic

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 通过系统变化适配数据分布，使用鲁棒成员推断和金丝雀数据提取攻击，评估差分隐私下大语言模型的实际隐私风险，发现分布偏移显著影响隐私脆弱性，LoRA等参数高效微调方法对分布外数据提供最佳实证保护。

Comments Accepted at ICLR 2026 (Oral)

Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models

谁的规范？解开大语言模型中的文化与个人对齐

Angana Borah, Isabelle Augenstein, Rada Mihalcea

机构 * University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；instruction tuning(abstract)

AI总结 提出PACT框架评估大语言模型在文化规范与个人偏好间的权衡，发现模型受国家背景影响大于年龄和性别，且人类对齐未能捕捉文化多元性。

Comments Preprint under review

Lost in the Flow with Code Talkers: Unveiling the Instruction-Tuning Tax of Large Language Models in Code Tasks

迷失在代码对话者的流程中：揭示代码任务中大语言模型的指令微调税

Shi Ying Chang, Chiok Yew Ho, Yichen Li, Yintong Huo

机构 * Singapore Management University（新加坡国立管理学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；instruction tuning(abstract)

AI总结 本研究首次实证发现指令微调在代码任务中导致权衡：增强指令遵循能力却削弱代码填充性能，称之为“指令微调税”，并通过定性和定量分析总结出七项发现和四项启示。

Comments 25 pages, 6 figures. Evaluation toolkit and dataset: https://github.com/arkosioscambions/CodeTalkers

Large Language Models for Imbalanced Classification: Diversity makes the difference

大语言模型用于不平衡分类：多样性至关重要

Dang Nguyen, Sunil Gupta, Kien Do, Thin Nguyen, Taylor Braund, Alexis Whitton, Svetha Venkatesh

机构 * Applied Artificial Intelligence Initiative (A 2 I 2 )（应用人工智能倡议（A2I2）） ； Deakin University（德肯大学） ； Black Dog Institute（黑狗研究所） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出基于大语言模型的过采样方法，通过条件采样、排列微调和插值样本增强多样性，在10个表格数据集上优于8个基线方法。

Domain-Adapted Small Language Models with Hybrid Post-Processing: Achieving Cost-Efficient, Low-Latency Multi-Label Structured Prediction via LoRA Fine-Tuning on Scarce Data

领域自适应的小语言模型与混合后处理：通过LoRA微调在稀缺数据上实现成本高效、低延迟的多标签结构化预测

Srinivasan Manoharan, Dilipkumar Nallusamy, Sachin Kumar, Haifeng Wu

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 提出一种结合LoRA微调的小语言模型（LLaMA 3.1 8B）和确定性规则后处理的混合框架，在仅219个样本上训练，实现多标签合规评估，达到100% JSON结构有效性和83.0%人工验证准确率，成本降低46-76%。

Comments 4 pages, 2 figures, 4 tables

The Amplifying Mirror: Locating and Steering the Partisan Direction inside a Large Language Model

放大镜：定位和操控大语言模型内的党派方向

Wendy K. Tam

机构 * Vanderbilt University（范德比尔特大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.CL

AI总结 通过线性探针在Llama 3.1 8B Instruct模型的隐藏状态中定位党派政治身份方向，并利用稀疏自编码器分解为可解释特征，因果干预可系统性改变模型输出，证明党派偏见是可定位和操控的几何特征。

Federated Large Language Models: Current Progress and Future Directions

联邦大语言模型：当前进展与未来方向

Yuhang Yao, Jianyi Zhang, Junda Wu, Chengkai Huang, Yu Xia, Tong Yu, Ruiyi Zhang, Sungchul Kim, Ryan Rossi, Ang Li, Lina Yao, Julian McAuley, Yiran Chen, Carlee Joe-Wong

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Duke University（杜克大学） ； University of California San Diego（加州大学圣地亚哥分校） ； The University of New South Wales（新南威尔士大学） ； Adobe Research（Adobe研究） ； University of Maryland College Park（马里兰大学学院公园分校） ； CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文综述联邦学习与大语言模型结合（FedLLM）的最新进展，重点分析联邦微调和联邦提示学习如何应对效率、个性化和安全挑战，并展望联邦预训练和联邦智能体等方向。

Comments Accepted by PAKDD 2026

From Shortcuts to Reasoning: Robust Post-Training of Theory of Mind with Reinforcement Learning

从捷径到推理：基于强化学习的心理理论鲁棒后训练

Jike Zhong, Yuxiang Lai, Ming Li, Yuheng Li, Wuao Liu, Behzad Dariush, Konstantinos Psounis, Shao-Yuan Lo

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(abstract,abstract_cn)；foundation model(abstract)；分类 cs.LG

AI总结 针对心理理论后训练中的捷径问题，提出Thinking-RFT方法，结合可验证奖励和显式推理链，在多个无捷径数据集上显著提升推理能力，尤其在复杂高阶推理和多模态场景中表现优异。

Comments Accepted by ICML 2026

Stage-1 Controls the Entropy Regime, Not the Outcome

Stage-1 控制熵状态，而非最终结果

Jianxiong Shen

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过小数据实验研究两阶段后训练中Stage-1（SFT或OPD）的作用，发现其主要影响策略熵状态，但对最终性能影响有限。

CacheRAG: A Semantic Caching System for Retrieval-Augmented Generation in Knowledge Graph Question Answering

CacheRAG：面向知识图谱问答中检索增强生成的语义缓存系统

Yushi Sun, Lei Chen

机构 * HKUST Hong Kong China（香港理工大学（中国）） ； HKUST(GZ) / HKUST Guangzhou / Hong Kong China (2018)（香港理工大学（广州）/ 香港理工大学（广州）/ 香港中国（2018）） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对LLM驱动的KGQA系统作为无状态规划器导致模式幻觉和检索覆盖有限的问题，提出CacheRAG，一种基于缓存的架构，通过模式无关接口、多样性优化缓存检索和有界启发式扩展，将无状态规划器转变为持续学习器，显著提升准确性和真实性。

CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning

CapRL++：基于可验证奖励的统一强化学习用于密集图像和视频描述生成

Penghui Yang, Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Yibin Wang, Yujie Zhou, Jiazi Bu, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * Tsinghua University（清华大学） ； University of Science and Technology of China（中国科学技术大学） ； Microsoft（微软） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里云） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；language model(abstract)；pretraining(abstract)

AI总结 提出CapRL++框架，利用可验证奖励的强化学习（RLVR）优化多模态描述生成，通过非视觉语言模型回答问题的准确性作为奖励，提升密集描述质量，在20多个基准上超越传统监督微调。

Comments 26 pages, 10 figures. Project page: https://github.com/InternLM/CapRL. arXiv admin note: text overlap with arXiv:2509.22647

Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning

语言感知令牌增强：无需微调的大语言模型语言混淆减少

Trapoom Ukarapol, Pakhapoom Sarapat, Nut Chukamphaeng

机构 * SCB DataX ； Tsinghua University（清华大学） ； SCBX 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出无需微调的语言混淆减少方法，通过语言感知令牌增强（LATB）和自适应版本（Adaptive-LATB）对目标语言令牌施加扰动，有效提升多语言对齐并保持摘要质量。

Comments ACL2026 Main Conference

Emotion-Aware Image Generation from Korean Diary Text via LLM-based Prompt Translation and LoRA Fine-Tuning

基于LLM提示翻译和LoRA微调的韩语日记文本情感感知图像生成

Jihun Cho, Soo-Yeon Jeong, Sun-Young Ihm

机构 * KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出一种情感感知文本到图像流水线，利用Qwen3-8B识别短日记中的隐含情感，并通过LoRA微调Stable Diffusion 3.5 Medium生成儿童手绘风格图像，同时探讨情感触发词的影响及CLIP Score作为评估指标的局限性。

Comments 4 pages, 4 figures, 2 tables, MITA 2026

Journal ref Proc. Int. Conf. Multimedia, Information Technology and its Applications (MITA), 2026

PriFT: Prior-Support Guided Supervised Fine-Tuning

PriFT: 先验支持引导的监督微调

Ke Wang, Shuangqi Li, Mathieu Salzmann, Pascal Frossard

机构 * EPFL（瑞士联邦理工学院洛桑分校） 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.CL、cs.LG

AI总结 提出PriFT方法，利用冻结的预训练模型计算token权重，避免在线模型导致的自我强化动态，在数学推理、代码生成和医疗问答任务中取得SFT最优结果，并为后续RL提供更好初始化。

Comments The first two authors contributed equally to this work

More Yap Less Meaning: Uncovering Self-Improvement Behavior in SLMs

更多废话，更少意义：揭示小语言模型中的自我改进行为

Marina Igitkhanian, Erik Arakelyan

机构 * American University of Armenia（亚美尼亚美国大学） ； NVIDIA（英伟达） 纠错

专题命中 指令微调 ：SLM(abstract,abstract_cn)；language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过构建充分性测试，发现小语言模型在自我纠正中仅获得4.4%的准确率提升，且较长的提示反而与错误答案正相关，表明其推理能力有限。

Comments GEM Workshop at ACL 2026

Defending Against Malicious Finetuning by Scaling Train-time Adversarial Attacks

通过扩展训练时对抗攻击防御恶意微调

Haoming Wen, Shi Chen, Qingyu Shi, Siyuan Liu, Minrui Luo, Jingzhao Zhang, Tianxing He

机构 * Xiongan AI Institute（雄安人工智能研究院） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Shanghai Qi Zhi Institute（上海期智研究院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对全参数微调的安全威胁，提出基于对抗训练和双层优化的Patcher方法，通过扩展对抗循环中的优化步数增强防御，并设计并行算法提升效率。

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning

少令牌，大杠杆：在微调期间通过约束安全令牌保持安全对齐

Guoli Wang, Haonan Shi, Tu Ouyang, An Wang

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出PACT框架，通过约束安全相关令牌的置信度来防止微调导致的安全对齐漂移，同时保持下游任务性能。

Comments Accepted to KDD 2026

ZAS-SQL: Distilling Rules from Failures for Zero-Shot Text-to-SQL

ZAS-SQL: 从失败中提炼规则用于零样本文本到SQL

Hongzhou Zheng, Yixin Gou, Wenjia Zhang

机构 * Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海自主智能无人系统科学中心） ； College of Architecture and Urban Planning, Tongji University（同济大学建筑与城市规划学院） ； Behavioral and Spatial AI Lab, Peking University & Tongji University（北京大学与同济大学行为与空间人工智能实验室） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ZAS-SQL零样本框架，通过Map-Reduce规则蒸馏从失败案例中提取核心生成规则，结合知识增强模式表示、规则驱动结构化推理和执行引导早停三个模块，在Spider上达到87.2%和88.6%执行准确率，超越多个少样本和微调方法。

Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models

通过视觉语言模型从自我中心视觉解码行人过街意图

Danya Li, Xiang Su, Yan Feng, Rico Krueger

机构 * Technical University of Denmark（丹麦技术大学） ； University of Helsinki（赫尔辛基大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 利用视觉语言模型（VLM）将行人过街意图预测转化为视觉问答任务，通过参数高效微调并结合自我运动、车辆运动和眼动等上下文线索，在自我中心视频上实现了14.5%的准确率提升，创下新纪录。

Vision Language Model Helps Private Information De-Identification in Vision Data

视觉语言模型助力视觉数据中的隐私信息去标识化

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 提出VisShield框架，通过专用指令微调数据集OPTIC和训练策略，使视觉语言模型精准定位并掩码敏感文本，有效保护医学图像等视觉数据中的隐私信息。

Single-Cell Cross-Modal Transfer by Adversarial Fine-Tuning of Foundation Models

通过基础模型的对抗微调实现单细胞跨模态迁移

Joseph Boyd, Matthew Lyon, Martino Mansoldo, Christian Hurry, Finnian Firth

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出利用单细胞基础模型进行对抗微调，实现未配对空间转录组与单细胞RNA测序数据的跨模态翻译，性能优于多组学翻译方法。

Discourse-Role Labels as Presentation-Time Variables for Context Use in Language Models

话语角色标签作为语言模型上下文使用的呈现时间变量

Jianguo Zhu, Xiangmei Li, Wenjie Liu

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过固定内容探针实验，研究不同话语角色标签（如Instruction、Reference、Example）如何影响语言模型对误导信息的采纳率，发现标签可导致采纳率变化56-84个百分点，并建议上下文利用和RAG基准应报告和控制包装标签。

Comments Revised version with updated author information, added clean baselines, clarified evaluation metrics, and tightened discussion of context-augmented settings

Operationalising the Superficial Alignment Hypothesis via Task Complexity

通过任务复杂度操作化浅层对齐假设

Tomás Vergara-Browne, Darshan Patil, Ivan Titov, Siva Reddy, Tiago Pimentel, Marius Mosbach

机构 * University of Maryland（马里兰大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Washington（华盛顿大学） ； University of Toronto（多伦多大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 提出任务复杂度指标（达到目标性能的最短程序长度）来量化浅层对齐假设，实验表明预训练大幅降低任务复杂度，而微调可将复杂度降低数个数量级。

Comments ICML 2026

CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning

CLASP: 基于语言驱动的机器人技能选择与组合，采用任务参数化学习

Markus Knauer, Valentin Gieraths, Tai Mai, Samuel Bustamante, Alin Albu-Schäffer, Freek Stulp, João Silvério

机构 * German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC）） ； Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） 纠错

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。

Comments 23 pages, 11 figues, 4 tables, 1 listing

Failure-Aware Refinement of Vision-Language Model for Lithography Defect Detection

面向光刻缺陷检测的视觉-语言模型失败感知精炼

Pangyun Jeong, Jiyeong Kong, Yuehua Hu, Dohee Jeong, Kyung-Tae Kang

机构 * Hanyang University（汉阳大学） ； Korea University（高丽大学） ； Korea Institute of Industrial Technology（韩国生产技术研究院） 纠错

专题命中 指令微调 ：language model(title)；分类 cs.AI

AI总结 提出两阶段视觉-语言框架，先微调Qwen3-VL检测缺陷，再通过训练精炼模块修正第一阶段错误，提升检测可靠性。

Comments 6 pages, 3 figures