语言大模型 / LLM

Repository-Level Solidity Code Generation with Large Language Models: From Prompting to Fine-Tuning

基于大语言模型的仓库级Solidity代码生成：从提示到微调

Shi Chen, Rongcun Wang, Yuan Tian, Xiaoyuan Xie, Wei Song, Rubing Huang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)

AI总结 提出SolidityBench基准和SolidityScore指标，评估多种LLM方法在仓库级Solidity代码生成中的表现，发现监督微调最有效。

Comments 33 pages

LLM-Based Synthetic Ground Truth Generation for Audio-Based Emotion Classification via In-Context Learning

基于上下文学习的音频情感分类的LLM合成真实标签生成

Qing Huang, Pooja Pol, Jianing Zhang

机构 * School of Business, Technical University of Applied Sciences Augsburg（应用技术大学阿沙芬堡商学院） ； Data Science und Autonome Systeme Technologietransferzentrum (TTZ)（数据科学与自主系统技术转移中心（TTZ）） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出利用大语言模型（LLM）和上下文学习（ICL）从多用户VR环境的流式语音数据中自动生成情感相关合成真实标签，解决团队协作状态标注难题。

Comments https://icaiit.org/paper.php?paper=14th_ICAIIT_2/3_9

Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

大语言模型的心理特征很大程度上是测量假象

Jelena Meyer, David Garcia, Dirk U. Wulff

机构 * Max Planck Institute for Human Development（马克斯·普朗克人类发展研究所） ； University of Konstanz（康斯坦茨大学） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； University of Basel（巴塞尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL、cs.AI

AI总结 通过心理测量框架分析56个指令微调LLM，发现模型间差异主要源于方向性响应偏差而非特质，该偏差解释了81-90%的变异，且可通过题目选择操控，表明LLM心理特征是测量假象。

From Drift to Coherence: Stabilizing Beliefs in LLMs

从漂移到一致：稳定LLM中的信念

SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

机构 * Department of Statistics, Seoul National University ； Korea Advanced Institute of Science \& Technology ； Department of AI, Kookmin University ； University of Hong Kong 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究LLM在多项选择问答中的信念漂移问题，提出提示式预测重采样（PPR）方法，发现信念过程会自稳定并收敛，进而提出种子答案提示策略和自一致性损失以加速稳定并提高预测一致性。

sft-wick: A formalism and package for Feynman-diagram expansion and evaluation in stochastic field theories

sft-wick: 随机场理论中费曼图展开与评估的形式化与软件包

Zheng Zhang

专题命中 指令微调 ：SFT(title,title_cn)

AI总结 提出sft-wick开源Python包，通过路径积分形式化随机场动力学，自动枚举拓扑不同的费曼图并计算代数系数和数值积分，验证与Langevin模拟一致。

Comments 32 pages, 5 figures, 2 tables. Submitted to Computer Physics Communications. The sft-wick package is open source and available at https://github.com/StatFieldTheory/sft-wick

Techniques for Peak Memory Reduction for LoRA Fine-tuning of LLMs on Edge Devices

边缘设备上LLM LoRA微调峰值内存降低技术

Hassan Dbouk, Matthias Reisser, Prathamesh Mandke, Likhita Arun Navali, Christos Louizos

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对边缘设备上LLM LoRA微调的内存瓶颈，提出四种互补技术（量化、检查点、softmax近似、logits掩码），在Llama-3.2 3B和Qwen-2.5 3B上实现高达26倍和28倍的峰值内存降低。

Comments Hassan Dbouk and Matthias Reisser contributed equally to this work

Exploring Multi-Modal Large Language Models and Two-Stage Fine-Tuning for Fashion Image Retrieval

探索多模态大语言模型与两阶段微调在时尚图像检索中的应用

Nguyen Cao Hoang, Hoang Bui Le, Nam Vo Hoang, Trung-Nghia Le

机构 * University of Science, VNU-HCM（胡志明市国家大学下属理科大学） ； Vietnam National University, Ho Chi Minh（胡志明市国家大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出融合多模态大语言模型（LLaVA）生成属性感知三元组，并采用两阶段微调策略增强对比学习，以解决时尚图像检索中标注数据稀缺和负采样简单的问题。

Comments SOICT 2025

Online Dynamic Batching with Formal Guarantees for LLM Training

面向LLM训练的具有形式保证的在线动态批处理

Dian Li, Zekun Wang, Yaoru Wang, Jiahong Yan

机构 * Tencent（腾讯） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出在线动态批处理（ODB）系统，在数据加载器侧将批构建延迟到样本真实成本可观测时，解决离线批采样中预处理成本不可见问题，实现1.58-4.43x吞吐量提升，并提供无死锁有界终止的形式化保证。

Comments 29 pages, 3 figures, 21 tables

MENTOR: Reinforcement Learning via Flexible Teacher-Optimized Rewards for Tool-Use Distillation

MENTOR: 通过灵活的教师优化奖励进行工具使用蒸馏的强化学习

ChangSu Choi, Hoyun Song, Dongyeon Kim, WooHyeon Jung, Minkyung Cho, Sunjin Park, NohHyeob Bae, Seona Yu, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； LG CNS 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出MENTOR方法，通过灵活的教师优化奖励结构，平衡行为对齐与下游性能，提升小模型在工具使用任务中的域外泛化能力。

VideoSketcher: Sequential Sketch Generation Using Video Model Priors

VideoSketcher：利用视频模型先验的序列草图生成

Hui Ren, Yuval Alaluf, Omer Bar Tal, Alexander Schwing, Antonio Torralba, Yael Vinker

机构 * MIT（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出VideoSketcher方法，结合LLM的语义规划与视频扩散模型的时序渲染，通过两阶段微调从少量样本学习笔画顺序与风格，生成高质量序列草图。

Timage: A Generative Text-in-Image Paradigm for Fine-Tuning Vision-Language Models

Timage: 一种用于微调视觉语言模型的文本嵌入图像生成范式

Yifeng Wu, Huimin Huang, Ruiluo Wu, Chunyi Lin, Guanhua Chen, Xian Wu, Wang Song, Ruize Han

机构 * Fudan University（复旦大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） ； Tencent Jarvis Lab（腾讯贾维斯实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)

AI总结 提出Timage范式，通过约束薛定谔桥将查询文本作为排版覆盖层嵌入图像，以显式空间锚点引导模型关注，在不侵蚀骨干能力前提下提升细粒度空间推理性能。

Comments ECCV

Calibration Without Comprehension: Diagnosing the Limits of Fine-Tuning LLMs for Vulnerability Detection in Systems Software

无理解的校准：诊断微调大语言模型在系统软件漏洞检测中的局限性

Arastoo Zibaeirad, Marco Vieira

机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出CWE-Trace框架，通过834个Linux内核样本和两个诊断指标（DFI和HDD）评估LLM漏洞检测能力，发现数据污染无实质帮助，微调仅改变输出阈值而非决策策略，模型缺乏真正的安全推理能力。

Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

训练、检索，还是两者兼用？针对安大略省住宅租赁法的正确法定引用的四组头对头比较

Ali Asaria, Tony Salomone, Deep Gandhi

机构 * Transformer Lab 纠错

专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.LG

AI总结 研究自诉租户、房东和帮助台工作人员如何获得正确的法定引用，通过四组实验比较微调、检索及混合方法，发现SFT+RAG混合模型在精确匹配上得分最高且无幻觉引用。

FloatDoor: Platform-Triggered Backdoors in LLMs

FloatDoor: 大语言模型中的平台触发后门

Nils Loose, Jonas Sander, Felix Mächtle, Thomas Eisenbarth

机构 * University of Luebeck（吕贝克大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出FloatDoor，首个输入无关、平台触发的后门攻击，利用浮点运算平台差异，通过两个轻量LoRA适配器在目标平台触发恶意行为，同时保持模型正常效用。

A Critical Look at Targeted Instruction Selection: Disentangling What Matters (and What Doesn't)

对目标指令选择的批判性审视：厘清什么重要（以及什么不重要）

Nihal V. Nayak, Paula Rodriguez-Diaz, Neha Hulkund, Sara Beery, David Alvarez-Melis

机构 * Harvard University（哈佛大学） ； MIT（麻省理工学院） ； Kempner Institute（凯门研究所） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文系统解构指令微调中目标指令选择的两大核心要素——数据表示与选择算法，发现基于梯度的表示结合贪心轮询选择在低预算下表现最佳，但收益随预算增加而减弱，并统一了多种算法为近似距离最小化。

Comments ICML 2026

Actionable Activation Directions for Detecting and Mitigating Emergent Misalignment Across Language Model Families

可操作的激活方向：检测和缓解跨语言模型家族的突发性对齐失调

Abdul Rafay Syed

机构 * Universität des Saarlandes（萨尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL

AI总结 通过差分均值方向在最终层实现99.6%的对齐/失调分离，因果干预将代码泄露降低21-51点；跨架构迁移虽有效但缺乏特异性，揭示了两层特异性结构。

Comments 12 pages, 2 figures

Bring My Cup! Personalizing Vision-Language-Action Models with Visual Attentive Prompting

Bring My Cup! 使用视觉注意力提示个性化视觉-语言-动作模型

Sangoh Lee, Sangwoo Mo, Wook-Shin Han

机构 * GSAI, POSTECH（POSTECH 人工智能研究所） ； IME, POSTECH（POSTECH 信息媒体研究所） 纠错

专题命中 指令微调 ：prompting(title,abstract)；分类 cs.AI

AI总结 针对VLA模型难以处理个性化指令的问题，提出无需训练的视觉注意力提示（VAP）方法，通过参考图像作为非参数记忆，利用开放词汇检测和嵌入匹配定位个人物品，并以视觉提示注入模型，在多个仿真和真实场景中显著提升成功率和正确物体操作。

Comments ICML 2026. Project page: https://vap-project.github.io/

From Efficiency to Leakage -- Privacy Backdoor in Federated Language Model Fine-Tuning

从效率到泄露——联邦语言模型微调中的隐私后门

Shanghao Shi, Chaoyu Zhang, Heng Jin, Yang Xiao, Yevgeniy Vorobeychik, William Yeoh, Ning Zhang, Y. Thomas Hou, Wenjing Lou

专题命中 指令微调 ：language model(title,abstract)

AI总结 提出NeuroImprint攻击，恶意参数服务器在参数高效微调中植入隐私后门，通过为每个样本分配独立神经元并限制单次更新，实现高保真重建训练文本。

MixSD: Mixed Contextual Self-Distillation for Knowledge Injection

MixSD: 混合上下文自蒸馏用于知识注入

Jiarui Liu, Lechen Zhang, Yongjin Yang, Yinghui He, Yingheng Wang, Weihao Xuan, Zhijing Jin, Mona Diab

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Jinesis Lab, University of Toronto & Vector Institute（Jinesis实验室，多伦多大学及向量研究所） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Princeton University（普林斯顿大学） ； Cornell University（康奈尔大学） ； The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所AIP） ； Max Planck Institute for Intelligent Systems, Tübingen, Germany（德国图宾根最大计划智能系统研究所） ； EuroSafeAI 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 本文提出MixSD方法，通过混合模型自身条件下的token来实现与模型生成分布对齐的知识注入，从而在保持预训练能力的同时提升事实记忆和推理能力。

Med-R2: Perception and Reflection-driven Complex Reasoning for Medical Report Generation

Med-R2：面向医学报告生成的感知与反思驱动复杂推理

Hao Wang, Shuchang Ye, Jinghao Lin, Usman Naseem, Jinman Kim

机构 * The School of Computer Science, The University of Sydney（悉尼大学计算机科学学院） ； The School of Computing, Macquarie University（麦考瑞大学计算机学院） ； Doubao Medical Group, ByteDance（字节跳动 doubao 医疗集团） 纠错

专题命中 指令微调 ：SFT(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出Med-R2微调策略，通过引入感知驱动的长推理过程和放射学知识指导，并加入反思机制修正感知错误，提升LVLMs在医学报告生成中的病理特征感知和诊断准确性。

Comments 28 pages, 3 figures, 1 table

Exploring Pre-training Benefits on Phoneme Addition through Fine-tuning in Speech Synthesis

探索预训练在语音合成中通过微调对音素添加的益处

Masato Murata, Koichi Miyazaki, Tomoki Koriyama, Tomoki Toda

机构 * CyberAgent, Japan（日本CyberAgent公司） ； Nagoya University, Japan（日本名古屋大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)

AI总结 研究预训练模型在微调过程中添加新音素时的表现，发现预训练主要提升自然度，但对新音素添加的益处有限。

Comments Accepted by INTERSPEECH 2026

Predicting Mergeability of Parameter-Efficient Fine-Tuning Updates

预测参数高效微调更新的可合并性

Lin Tang, Wei Zhang, Jing Li, Hongyu Chen, Ming Zhao, Yuxuan Wang

机构 * Sichuan University（四川大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 提出MergeProbe，通过训练初期信号预测LoRA适配器的可合并性，在MERGE-PEFT基准上实现最佳平均和最差保留性能。

Model soups need only one ingredient

模型汤只需一种成分

Alireza Abdollahpoorrostam, Nikolaos Dimitriadis, Adam Hazimeh, Pascal Frossard

机构 * EPFL（瑞士联邦理工学院） ； EPFL LTS4（瑞士联邦理工学院 LTS4） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

AI总结 提出MonoSoup方法，利用SVD分解单检查点的层更新，通过熵有效秩自动重加权成分，实现强分布内-分布外平衡，无需多检查点。