语言大模型 / LLM

A Validation-Gated Mechanistic Account of Suicidality Detection in LLMs

一种验证门控机制的自杀检测在LLMs中的解释

Nafiz Ahmed, Sarah Sharif, Dingjing Shi, Mike Banad

机构 * Intelligent Neuromorphic and Quantum Understanding for Innovative Research and Engineering (INQUIRE) Lab（智能神经形态与量子理解创新研究与工程实验室） ； School of Electrical and Computer Engineering（电气与计算机工程学院） ； University of Oklahoma（俄克拉荷马大学） ； School of Psychology（心理学学院） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出验证门控框架，通过因果分析发现Llama-3.1-8B-Instruct在自杀检测中依赖语义特征而非关键词，且该特征在多个模型和数据集中一致出现。

Ghost Vectors: Soft-Deleted Embeddings Remain Reconstructible in HNSW Vector Databases

幽灵向量：HNSW向量数据库中软删除的嵌入仍然可重构

Chandranil Chakraborttii, Jackeline García Alvarado, Sitora Abdulofizova, Shivanshu Dwivedi

机构 * Trinity College, USA（美国三一学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究揭示HNSW向量数据库的软删除机制存在安全漏洞，被标记删除的向量仍可通过存储层恢复，并提出基于加密密钥轮换的防护方案。

Comments 13 pages, 5 figures, 12 tables. Prepared for submission

CODEBLOCK: Learning to Supervise Code at the Right Granularity

CODEBLOCK: 学习在正确的粒度上监督代码

Zhijie Deng, Ling Li, Jinlong Pang, Kaiqin Hu, Qi Xuan, Zhaowei Zhu, Jiaheng Wei

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； UC Santa Cruz（加州大学圣克鲁兹分校） ； Ant Group（蚂蚁集团） ； BAIA, ZJUT（浙江工业大学智能信息处理实验室） ； D5Data.ai 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出CodeBlock框架，通过选择结构完整的代码块而非孤立token进行稀疏监督，在仅使用1.9%监督token的情况下，在六个代码生成基准上取得优于全token微调的效果。

The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning

提问的艺术：一致性增强空间推理中的事实性

Theo Uscidda, Marta Tintore Gazulla, Maks Ovsjanikov, Federico Tombari, Leonidas Guibas

机构 * The University of California, Berkeley（加州大学伯克利分校） ； ETH Zurich（苏黎世联邦理工学院） ； University of Oxford（牛津大学） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 提出自监督强化学习框架，通过几何与语义一致性验证器（如图像翻转、文本对象顺序交换）对齐预训练模型的内在空间推理能力，无需标注数据即可达到接近监督方法的精度。

Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes

基于层级优势加权的在线RL微调VLA策略从稀疏回合结果

Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li

机构 * ACE Robotics ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.LG

AI总结 提出层级优势加权行为克隆（HABC），通过分离生存性和效率目标并自适应平衡，解决稀疏二元结果下VLA策略在线微调中的信用分配问题，在三个双臂接触任务上将成功率从12-44%提升至38-92%。

Comments Website: https://acerobotics-vla.github.io/HABC-Website

Auditing Machine Unlearning: A Systematic Research on Whether Models Truly Forget

审计机器遗忘：关于模型是否真正遗忘的系统性研究

Dayong Ye, Tianqing Zhu, Ruiding Huang, Xinbo Fu, Jiayang Li, Bo Liu, Huan Huo, Wanlei Zhou

机构 * University of Technology Sydney（悉尼科技大学） ； Deakin University（迪肯大学） ； Macquarie University（麦考瑞大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对隐私法规需求，提出首个实用通用审计框架，通过无知证明概念验证现有遗忘算法能否真正擦除指定数据影响，实验表明重训练和微调方法有效，去优化和Fisher/Hessian方法失败。

From Argument Components to Graphs: A Multi-Agent Debate with Confidence Gating for Argument Relations

从论证组件到图：一种具有置信门控的多智能体辩论方法用于论证关系识别

Jakub Bąba, Jarosław A. Chudziak

机构 * Faculty of Electronics and Information Technology, Warsaw University of Technology（华沙理工大学电子与信息技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种多智能体辩论框架，通过置信门控机制仅在不确定时进行辩论，在UKP语料上达到训练无关方法最高Macro F1，并生成可读辩论记录。

Comments Accepted for publication in the proceedings of KES 2026

Beyond English: Uncovering the Multilingual Gap in Vision-Language-Action Models

超越英语：揭示视觉-语言-动作模型中的多语言差距

Hanyang Chen, Hongliang Li, Jiarui Cao, Yang Li, Yang Jiang, Haonan Wen, Kaiyu Huang, Shengnan Guo, Huaiyu Wan

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究首次系统探究VLA模型的多语言指令跟随能力，发现英语训练模型在其他语言上性能显著下降，并提出多语言主成分对齐方法缩小差距。

Imperfect Visual Verification for Code Edition : A Case Study on TikZ

代码编辑的不完美视觉验证：以TikZ为例的案例研究

Charly Reux, Mathieu Acher, Djamel Eddine Khelladi, Clément Quinton, Olivier Barais

机构 * Univ Rennes, Inria, IRISA, INSA（里昂大学、Inria、IRISA、INSA） ； Univ Rennes, Inria, CNRS, IUF, IRISA（里昂大学、Inria、CNRS、IUF、IRISA） ； Univ Rennes, Inria, CNRS, IRISA（里昂大学、Inria、CNRS、IRISA） ； Univ. Lille, CNRS, Inria（里尔大学、CNRS、Inria） ； Univ. Rennes, IRISA, Inria（里昂大学、IRISA、Inria） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对TikZ等视觉代码定制任务，研究不完美验证器在迭代精炼中的有效性，发现即使不完美验证器也能适度准确判断指令是否应用，反馈对弱模型提升显著。

VeriGeo: Controllable Geometry Question Generation with Numerical and Analytical Verification

VeriGeo: 可控几何问题生成与数值和分析验证

Xiaoxian Duan, Zequn Liu, Yingce Xia

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出VeriGeo框架，通过可执行推理轨迹和三级验证流水线，实现用户约束下的可控几何问题生成，并利用验证引导的反思修复无效生成，提升数据可靠性。

Comments 32 pages, 4 figures, 9 tables

MentalMARBERT: Domain-Adaptive Pre-training and Two-Stage Fine-Tuning for Arabic Mental Health Disorders Detection

MentalMARBERT：面向阿拉伯语心理健康障碍检测的领域自适应预训练与两阶段微调

Fatimah Almalki, Areej Alhothali, Lulwah Alharigy, Abdulrahman Aladeem

机构 * King Abdulaziz University（阿卜杜勒阿齐兹国王大学） 纠错

专题命中 指令微调 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 针对阿拉伯语社交媒体文本中心理健康障碍检测的方言差异、非正式语言、标注资源有限和类别不平衡问题，提出领域自适应预训练与两阶段微调框架，构建含5万条推文的数据集，MentalMARBERT在宏F1和准确率上分别达到0.861和0.877。

Comments 17 pages, 5 figures, 13 tables

Doc-to-Atom: Learning to Compile and Compose Memory Atoms

Doc-to-Atom：学习编译和组合记忆原子

Xingjian Diao, Wenbo Li, Yashas Malur Saidutta, Avinash Amballa, Lazar Valkov, Srinivas Chappidi

机构 * AI Center-Mountain View, Samsung Electronics（三星电子AI中心-山景城） ； Dartmouth College（达特茅斯学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Doc2Atom框架，将文档分解为语义类型化的知识原子并编译为微LoRA适配器，通过轻量查询路由器选择相关原子组装成查询特定适配器，以解决文档压缩中的干扰和扩展性问题，在六个QA基准上优于Doc-to-LoRA。

Comments 20 pages

Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering

学习对你的VLA说什么：基本无害的视觉语言动作模型引导

Hyun Joe Jeong, Gokul Swamy, Andrea Bajcsy

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.LG

AI总结 提出一个框架，通过交互式搜索语言序列改进闭环VLA任务性能，并学习一个改进头预测何时语言引导能提升性能，同时通过共形化防止有害干预。

Comments 22 pages, 14 tables, 14 figures

Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs

虚拟后门作为防御：通过共享内部机制移除生成式大语言模型中的未知后门

Kazuki Iwahana, Masaru Matsubayashi, Takuma Koyama, Toshiki Shibahara, Kenichiro Omintato, Akira Ito

机构 * NTT Social Informatics Laboratories（NTT社会信息实验室） ； Tohoku University（东北大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出一种基于共享内部机制的后门移除方法，通过嵌入已知触发器的虚拟后门并微调移除，从而降低未知后门攻击成功率，同时保持模型效用。

Architect-Ant: Editable Automatic Furnishing of Architectural Floor Plans

Architect-Ant: 可编辑的建筑平面图自动家具布置

Fedor Rodionov, Aleksandar Cvejic, Michael Birsak, John Femiani, Peter Wonka

机构 * King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学） ； Miami University（迈阿密大学） 纠错

专题命中 指令微调 ：language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 提出基于微调视觉语言模型的可编辑自动家具布置框架Architect-Ant，通过领域特定语言编码布局并优化，生成符合建筑约束的合理布局。

Comments 17 pages, 10 figures

Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune

使用LoRA和NEFTune对DeepSeek-R1-8B模型进行指令微调

Wu Yuerong, Mingni Luo

机构 * University of Hong Kong（香港大学） ； Northeastern University（东北大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究结合LoRA和NEFTune微调DeepSeek-R1-8B模型，用于金融命名实体识别，在七类实体上达到0.912的微F1分数，优于多个基线模型。

Calibrating Overconfidence Without Sacrificing Confidence: Probe-Conditioned Head Intervention for LLMs

校准过度自信而不牺牲自信：基于探针条件的头部干预方法用于LLMs

Ke Li, Chongzhe Zhang, Zifan Zeng, Feng Liu, Qunli Zhang, Zheng Hu

机构 * Huawei Heisenberg Research Center（华为海森堡研究中心） ； EPFL（苏黎世联邦理工学院） ； TU Berlin（柏林技术大学） ； TUM（慕尼黑工业大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出PCHI方法，通过冻结探针检测可能错误但自信的响应，并条件性调整注意力头输出，在保持正确自信的同时减少过度自信，将ECE从21.9%降至9.2%。

Comments 11 pages, 4 figures

The Interlocutor Effect: Why LLMs Leak More Personal Data to Agents Than Humans

对话者效应：为什么LLMs向智能体泄露的个人数据比向人类多

Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究发现LLMs在与AI智能体对话时比与人类对话更易泄露个人身份信息，通过注意力抑制假说解释该现象，实验表明安全对齐注意力头在智能体交互中失活导致泄露增加23个百分点。

Reliable to Expressive: A Curriculum for Rubric-Following Safety Judges

从可靠到表达：面向遵循评分标准的安全评判员的课程学习

Yongtaek Lim, Hyeji Choi, Minwoo Kim

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 提出一种结合动态评分标准和从可靠到表达的课程学习策略，训练安全评判员在多种评分标准下稳定评估，12B模型准确率达94.12-94.88%，跨标准方差仅0.76。

Comments Accepted to ICML 2026 Workshop on AIWILDS

Emergent Misalignment Can Be Induced by Sycophancy and Reversed via Alignment Gating

由谄媚诱导的突现性失调可通过对齐门控逆转

Sicheng Wang, Xiangyang Zhu, Han Wang, Zongrui Wang, Yuan Tian, Kaiwei Zhang, Kaiyuan Ji, Qi Jia, Guangtao Zhai

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 发现谄媚微调（被动同意用户错误观点）可诱导广泛且严重的突现性失调，并提出对齐门控方法，通过插入可学习门控来识别并抑制不安全表示，从而高效逆转失调。

Comments Code is available at https://github.com/stay1to0/Sycophancy_Emergent_Misalignment_and_Gated_attention_FT

Lost in the Non-convex Loss Landscape: How to Fine-tune the Large Time Series Model?

迷失在非凸损失景观中：如何微调大型时间序列模型？

Xu Zhang, Peang Wang, Wei Wang

机构 * Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室） ； College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对预训练大型时间序列模型微调时因非凸损失景观导致过拟合的问题，提出平滑全微调（SFF）方法，通过随机初始化辅助模型插值平滑损失景观，提升可训练性，在八个代表性模型上取得一致改进。

Comments This paper has been accepted by The Fourteenth International Conference on Learning Representations (ICLR 2026). The code is available at the link \url{https://github.com/Meteor-Stars/SFF}

CRAFT: Constrained Reward via Attention Fine-Tuning for Subject Personalization without Composed Targets

CRAFT：无需组合目标的主题个性化的注意力微调约束奖励

Jihun Park, Kyoungmin Lee, Jongmin Gim, Hyeonseo Jo, Jaeyeul Kim, Han Zou, Zhenpeng Zhan, Yan Zhang, Sunghoon Im

机构 * DGIST（大邱科技研究院） ； Baidu, Inc.（百度公司） ； KAIST（韩国科学技术院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 本文提出无需组合目标监督的CRAFT框架，通过LoRA适配器微调参考感知MMDiT，仅用1万张参考样本，在XVerseBench上实现图像主题个性化的最先进性能，且可迁移至其他骨干网络。

Comments 20 pages, 8 figures, ACM SIGGRAPH Asia 2026

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

面向相机鲁棒性的视觉-语言-动作策略的跨视图动作一致性

Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

机构 * Tsinghua University（清华大学） ； Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所） ； Faculty of Science, Vrije Universiteit Amsterdam（阿姆斯特丹自由大学理学院） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 本研究针对视觉-语言-动作策略的相机鲁棒性问题，提出跨视图动作一致性正则化方法，在LIBERO-Plus数据集及真实机器人任务上均显著提升了相机扰动下的策略性能。

SynChain: Inducing Computer-Use Agent Systems to Construct Their Own Attack Chains

SynChain：诱导计算机使用智能体系统构建自身攻击链

Fuyao Zhang, Jiaming Zhang, Che Wang, Boyang Chen, Yurong Hao, Xiongtao Sun, Guowei Guan, Blaise Delattre, Yang Cao, Wei Yang Bryan Lim

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 该研究提出SynChain攻击范式，通过定向监督微调诱导计算机使用智能体构建含恶意内容的良性制品，在多模型多防御设置下实现高攻击成功率，揭示需对智能体跨任务执行轨迹做来源感知推理以保障安全。

GIFT: Geometry-Invariant Fine-Tuning for Non-Lambertian Monocular Depth Estimation

GIFT：面向非朗伯单目深度估计的几何不变微调方法

Xianghui Fan, Zhaoyu Chen, Bingqian Wu, Dayu Li, Xin Zeng, Huanran Cui, Guangzhen Xu, Xiangru Huang, Hang Yang

专题命中 指令微调 ：foundation model(abstract)；post-training(abstract)

AI总结 针对单目深度基础模型在非朗伯表面易产生深度幻觉的问题，提出无需深度标签的参数高效微调框架 GIFT，通过几何不变性抑制幻觉，在提升镜子与透明物体深度预测的同时保留基础模型性能。

Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs

注意力头中的角色断裂：理解和检测视觉语言模型中的幻觉

Mingyu Wang, Weilin Jin, Wenbo Li, Haoyang Huang, Nan Duan, Tong Jia, Chaoran Luo, Ying Li

专题命中 指令微调 ：language model(abstract,abstract_cn)

AI总结 该研究提出注意力头的角色断裂现象，构建无需微调的轻量级线性检测器，在6个VLMs和4个基准上平均AUROC达93.23，可检测VLM幻觉并支持干预操作。

SatEdit: Mask-Conditioned Image Editing via VLM-Guided Segment Annotation

SatEdit：基于VLM引导的区域标注的掩码条件卫星图像编辑

Muhammad Talha, Muhammad Ahmed Amer

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)

AI总结 SatEdit是基于VLM引导区域标注的卫星图像编辑框架，通过未标注图像构建监督信号，经LoRA微调后在对比中实现最高掩码区域语义对齐，为卫星图像编辑提供了数据高效的可行方案。

Comments 14 pages, 5 figures

Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation

联邦预训练评估：下游微调与内在评估的可靠性研究

Claudia Grosser, Maike Heuer, Denis Krompass, Thomas A. Runkler

机构 * Technical University Munich（慕尼黑工业大学） ； Siemens AG（西门子公司） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究对比联邦预训练的下游微调（含全量、仅头部等变体）与GLUE文本下一个词预测的评估效果，发现后者与预训练测试困惑度相关性更强，提示仅下游微调易产生误导，需关注更接近预训练目标的评估信号。

CommandLM: Data driven behavior level descriptor for ego vehicles

CommandLM：用于自动驾驶车辆的数据驱动行为级描述符

Boris Tokic, Constantin Selzer, Fabian B. Flohr

机构 * Munich University of Applied Sciences（慕尼黑应用技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 研究针对自动驾驶系统中可解释行为级决策需求，提出多模态大语言模型CommandLM，通过融合多传感器数据生成行为描述，经特定训练和适配器处理，实验表现优于基线，人工评估显示其输出可助力行为审计，实现高效透明的行为级理解。

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

PercepCap：具有结构化时空感知的视频字幕生成器

Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

机构 * Nanjing Univerisity（南京大学） ； Kuaishou Technology（快手科技） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)

AI总结 研究视频字幕生成问题，提出PercepCap框架，遵循感知-描述生成链，设计两阶段训练策略及相关数据构建方法，在评估中优于基线，提升视频字幕生成质量。