语言大模型 / LLM

Improving LLM-Based SSH Honeypots Through Prompting and Fine-Tuning

通过提示工程和微调改进基于大语言模型（LLM）的SSH蜜罐

Muris Sladić, Veronica Valeros, Eman Alibalić, Sebastian Garcia

专题命中 指令微调 ：LLM(title,title_cn)；prompting(title,abstract)

AI总结 本文通过提示设计和微调改进本地LLM SSH蜜罐，发现提示设计影响显著，扩展数据集微调可提升性能，但提示与微调效果无法简单结合，二者可能因重叠约束产生冲突。

SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD

SLAI T-Rex：在升腾超级集群上对DeepSeek-V4系列进行全参数训练后优化

Dongfang Li, Xiaodong Luo, Ruoyu Sun, Xuhui Chen, Linyuan Qiu, Jian Meng, Zhengxuan Lu, Yiting Wang, Yucheng Xie, Tao Guo, Tianxiang Fang, Jing Li, Sihang Chen, Shihao Hong, Chang Liu, Weihua Dai, Zirong Zeng, Ziwei Zhu, Zhuohan Wang, Zhengjun Yue, Igor Vasilyev, Min Liu, Weijian Sun, Xin Chen, Yingmeng Gao, Jinhua Zhou, Taolue Chen, Chenwei Wu, Dong Zhang, Wenlong Jin, Jinmin Xiang, Barkova Maria, Ushakov Anton, Xianfei Jin, Tian Ding, Zhihang Lin, Qian Chen, Linxin Yang, Mingzhe Yang, Bingwei Zhang, Hongzhang Yang, Fangxue Zhang, Shijun Qin, Jie Yu, Cuihua Hu, Tolstykh Vasiliy, Nosov Ivan, Abdullin Amir, Zhicheng Zhou, Xin Zhang, Zhixiong Ning, Xutong Zhao, Junjie Huang, Jiajun Liu, Weiyan Kong, Zheng Zhang, Wenhan Luo, Lin Hu, Yangbo Guo, Li Zeng, Shihao Zhang, Baotian Hu, Min Zhang, Haizhou Li, Zhiquan Luo

专题命中 指令微调 ：SFT(summary_cn,abstract)；post-training(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究针对万亿参数规模MoE模型全参数训练后优化的系统挑战，在升腾NPU超级集群上以DeepSeek-V4为目标工作负载开发分层优化框架，建立CPT和SFT工作流程，提升模型性能，推动复杂推理前沿模型系统发展。

Comments 73 pages, 22 figures, 20 tables

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

对齐即全部所需：通用音频-语言模型的无指令训练

Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 该研究提出仅对齐的无指令大音频-语言模型LALM，仅训练轻量投影器，在多模态数据集上用更少数据达到或优于基线，证明仅靠对齐即可构建有竞争力的多模态大语言模型。

Clinically Structured Surrogate Rewards for Post-SFT Medical Image Captioning

SFT后医学图像字幕生成的临床结构化替代奖励

Hyun Jun Kim, Heeseung Shin, Changwon Lim

专题命中 指令微调 ：SFT(title,title_cn)

AI总结 该研究针对SFT后医学图像字幕生成，提出临床结构化替代奖励框架，结合生物医学语义等，在ImageCLEFmedical Caption测试集及三个主干上，提升了整体、相关性与事实性指标。

Comments 8 pages, 2 figures, 3 tables

Gradient Mirage: Trainable yet Label-Unidentifiable Gradients in Large Language Model Split Learning

梯度幻影：大语言模型拆分学习中可训练且标签不可识别的梯度

Shiyu Miao, Yunlong Mao, Zirui Huang, Liang Yao, Tianshuo Zheng, Yanhui Gu, Fan Liu, Sheng Zhong

专题命中 指令微调 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型拆分学习中梯度匹配攻击的标签泄露问题，提出Gradient Mirage防御方法，通过三个维度的不一致性打破梯度-目标一致性，在保留优化效用的同时提升隐私保护，实现更优的隐私-效用权衡。

KA2L: A Knowledge-Aware Active Learning Framework for LLMs

KA2L：一种面向大语言模型的基于知识的主动学习框架

Haoxuan Yin, Chen Tang, Yangfan Wang, Lian Yan, Jingchi Jiang

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； Institute for Advanced Algorithms Research（先进算法研究所） ； National Key Laboratory of Smart Farm Technologies（智能农业技术与系统国家重点实验室） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出KA2L框架，通过分析潜在空间评估LLM对特定知识的掌握程度，生成未知问题以提升模型能力，实验表明该方法能有效降低标注和计算成本，并在多个数据集上取得更好性能。

Comments 17 pages, 3 figures. Published in Expert Systems with Applications 333 (2027) 133951

Persona-Guided LLM Agents for Task-Oriented Dialogue

面向任务型对话的角色引导大语言模型智能体

Maryam Shoaeinaeini, Brent Harrison, A.B. Siddique

机构 * University of Kentucky（肯塔基大学） 纠错

专题命中 指令微调 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究构建无需训练的框架，通过三种情境评估多模型在SGD数据集上的表现，发现适应用户人格存在权衡，Try情境的线索式适应可更可靠实现感知人格的任务型对话。

Comments 8 pages

Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)

计算东方主义：使用中东文化敏感性评分（MECSS）测量大语言模型中的结构性话语偏见

Maha Shahid

专题命中 指令微调 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 该研究提出MECSS框架测量大语言模型的东方主义结构性话语偏见，发现GPT-4和Falcon3-7B-Instruct均存在系统性东方主义模式，且Falcon3-7B-Instruct得分更高，Said-washing现象普遍存在。

Comments 16 pages, 3 tables

When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition

音频-语言模型在利用多模态上下文进行构音障碍语音识别时的失效问题

Pehuén Moure, Niclas Pokel, Bilal Bounajma, Yingqiang Gao, Roman Boehringer, Longbiao Cheng, Shih-Chii Liu

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建基于SAP数据集的基准，发现现有音频-语言模型无法有效利用构音障碍语音的临床上下文，而LoRA适配方法可将WER降低52%，为包容性ASR提供测试平台。

Evaluating and Explaining Prompt Sensitivity of LLMs Using Interactions

利用交互作用评估与解释大语言模型的提示敏感性

Ruiyang Qin, Qingzhuo Wang, Tian Wang, Zhihua Wei, Wen Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于交互作用的IPS指标，分析50个开源LLMs的提示敏感性，发现监督微调等四个因素可通过降低低阶交互作用的敏感性减少提示波动。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026). 46 pages, 48 figures

Dual-Stream Cross-Anchor Correction Grounding Long-Form Captions and the Domain Limits of Object-Level Anchors

双流跨锚校正：接地长文本描述与对象级锚点的域限制

Lingkai Bu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Jinyi Liang

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多模态大语言模型的长文本描述对象幻觉问题，本文提出双流跨锚校正方法，通过耦合感知流与认知流提升精度，在长文本场景下实现最优性能，且存在域条件性限制。

G-ReAct: Graph-Guided Deep Search via Structure-State Co-Evolution

G-ReAct：基于结构-状态协同演化的图引导深度搜索

Shaoxiong Yang, Mengyuan Zhang, Shaojun Lin, Chao Li, Wei Liu, Kun Shao, Jian Luan

专题命中 指令微调 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出图引导深度搜索框架G-ReAct，通过结构-状态协同演化解决现有LLM深度搜索的上下文遗忘等问题，仅用少量轨迹微调即提升模型在BrowseComp-ZH、XBench上的准确率，且推理时可增强现有LLM性能。

Looped Language Models Improve Compositional Tool Calling

循环语言模型可提升组合式工具调用能力

Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究在组合式工具调用场景下，通过在多个数据集上对比循环与非循环语言模型，发现循环计算可提升组合式工具使用性能，自适应推理能实现更优计算-性能权衡，为智能体系统提供了有前景的架构。

Phantom Transitions in Language Model Fine-Tuning: A Density-Matrix Analysis

语言模型微调中的幻影相变

Vaibhav Prakash, Jayasri Dontabhaktuni

机构 * Mahindra University（马恒达大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究语言模型微调时，正确补全被近义词竞争而失败的现象，通过序参量分解信号与背景拖拽，发现两种失败模式，并揭示相变为幻影，源于softmax读出而非几何相变。

Comments 25 pages, 9 figures

Think-to-Personalize: Unifying Reasoning and Retrieval for User-Centric Personalized Dense Retrieval

思考以个性化：统一推理与检索的以用户为中心的个性化密集检索

Angqing Jiang, Gaoming Zhang, Jianchun Song, Kena Qi, Dayao Chen, Wei Lin, Defu Lian

专题命中 指令微调 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出TTP框架，将用户意图推理与密集检索统一，经两阶段训练后在电商场景实验及在线测试中均取得优于基线的效果，提升了订单量。

Comments Accepted at CIKM 2026. 11 pages, 8 figures, and 9 tables

Off-Manifold Collapse in Guided Protein Language Models

引导式蛋白质语言模型中的流形外坍塌

Shuibai Zhang, Xinchi Liu, Fred Zhangzhi Peng, Zhihan Yang, Shutong Wu, Yingzi Ma, Jiawei Zhang

机构 * Duke University（杜克大学） ； Cornell University（康奈尔大学） ； University of Wisconsin--Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG

AI总结 该研究发现引导式蛋白质语言模型存在流形外坍塌问题，提出无需训练的马氏过滤方法，可低成本提升生成序列的属性得分与结构合理性，且可跨引导方法迁移。

Comments 12 pages

Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage

心理健康领域的教学式AI：用于自动化临床监督与风险分诊的三通路微调大语言模型框架

Shreeya Sharma, Ravish Gupta, Saket Kumar, Abhishek Aggarwal

机构 * Microsoft（微软） ； BigCommerce ； University at Buffalo, The State University of New York（纽约州立大学布法罗分校） ； Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对精神医疗的监督缺口，提出三通路微调Mistral-7B-instruct框架，实现自动化临床监督与风险分诊，提升效率并解决冷启动问题。

Comments 14 pages, 1 figure, 2 tables. Accepted for publication in AICTC 2026, Lecture Notes in Networks and Systems, vol. 2165, Springer

Mise-en-Scène: Implicit Layout Emergence in Diffusion Transformers for Human-AI Design Co-Creation

场景布置（Mise-en-Scène）：用于人机协同设计共创的扩散Transformer中隐式布局的涌现

Zipeng Xu, Ryan Murdock, Umberto Michieli

机构 * Canva Research（Canva研究院） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)

AI总结 本文提出Mise-en-Scène框架，通过微调扩散Transformer实现隐式布局涌现，结合匹配放置步骤保证素材保真度，在PrismLayersPlus基准上生成的设计感知质量显著优于现有方法。

Comments Best Paper Award at ECCV Human-AI Co-Creation Workshop

Efficient Adaptation of LLMs for Hate Speech Detection in Low-Resource Languages: A Comparative Study on Roman Urdu

低资源语言仇恨言论检测的大语言模型高效适配：以罗马乌尔都语为例的比较研究

Toneema Zubair, Muhammad Junaid Asif, Faisal Kamiran, Hafiz Hassan Saeed, Rana Fayyaz Ahmad

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文针对罗马乌尔都语仇恨言论检测的低资源语言场景，对比评估Mistral等大语言模型，发现采用LoRA参数高效微调可显著提升性能，且计算效率优异。

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

首个令牌广播者：Transformer中语言身份与分布式鲁棒性的机制起源

Arjun Pillai, Christian Hoang, Anjelo Jann Laroza

机构 * Irvington High School（欧文顿高中） ； GenAI4E ； Mapua University（马普阿大学） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.AI

AI总结 通过因果干预方法LIHA，发现Transformer中少量注意力头（如GPT-2的L6H1）持续关注首个令牌并广播语言信号，且消融后补偿呈现层级前馈模式；指令微调将语言身份电路重组至早期层。

Comments Under review at Interp4Discovery @ NeurIPS 2026

FiLoRA: Focus-and-Ignore LoRA for Controllable Feature Reliance

FiLoRA: 专注与忽略LoRA用于可控的特征依赖

Hyunsuk Chung, Soyeon Caren Han, Seungyeon Ji, Jinwoo Kim, Eun-Jung Holden, Kyungreem Han

机构 * University of Melbourne, Melbourne, Australia ； Brain Science Institute, Korea Institute of Science ； Department of Computer Science ； Engineering, Korea University, Seoul, Republic of Korea ； Division of Bio-Medical Science \& Technology, University of Science ； Technology KIST School, Seoul, Republic of Korea 纠错

专题命中 指令微调 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 FiLoRA通过指令条件门控实现对多模态模型内部特征依赖的可控调节，提升模型在虚假特征干预下的鲁棒性。

A Few Cases Are All You Need: An Empirical Study of Annotation-Efficient LoRA Fine-Tuning of MedSAM3

少数案例足矣：对MedSAM3的标注高效LoRA微调的实证研究

Sachin Dudda Nagaraju, Bendik Skarre Abrahamsen, Ashkan Moradi, Mattijs Elschot

机构 * Norwegian University of Science and Technology（挪威科技大学） ； St. Olavs Hospital, Trondheim University Hospital（圣奥拉夫斯医院（特隆赫姆大学医院）） 纠错

专题命中 指令微调 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 该研究针对MedSAM3，用LoRA微调实现仅10个标注案例即可让医学图像分割达到临床可用性能，在腹部器官和心脏分割任务上优于部分专业工具，且训练速度更快。

Impact of Iterative Fine-Tuning on Transcription Accuracy in Complex Historical Sanskrit Manuscripts

迭代微调对复杂历史梵文手稿转录准确率的影响

Kartik Chincholikar, Kaushik Gopalan, Mihir Hasabnis

机构 * Centre for Inter-disciplinary Artificial Intelligence (CAI)（跨学科人工智能中心（CAI）） ； FLAME University（火焰大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对复杂历史梵文手稿的OCR挑战，提出可在布局与外观层级迭代微调的传统OCR流水线，构建含精细标注的数据集，验证了迭代微调的性能提升并完成多模态大模型基准测试。

Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities

九个情绪质心：跨四种模态迁移的无标签效价轴

Yousef Radwan

机构 * KAUST（阿卜杜拉国王科技大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种仅用9个情绪类别名称和少量叙事段落即可找到跨视觉、音频等四种模态迁移的无标签效价轴的方法，该轴在多模态情感任务中表现优异且具有机制活性。

Comments 15 pages, 3 figures, 4 tables

SE-MoLoRA: Shared-Expert LoRA Adapters for Domain-Specific Photographic Assessment

SE-MoLoRA：用于特定领域摄影评估的共享专家LoRA适配器

Bishwash Khanal, Anlan Zhang, Sasu Tarkoma, Tommi Mikkonen, Abhishek Kumar

机构 * Faculty of Information Technology（信息技术学院） ； University of Jyväskylä（于韦斯屈莱大学） ； Adobe Research（奥多比研究院） ； University of Helsinki（赫尔辛基大学） 纠错

专题命中 指令微调 ：language model(abstract)

AI总结 本文提出SE-MoLoRA框架，通过共享LoRA专家与路由适配器解耦通用摄影知识和专业判断，在摄影评论生成任务上显著提升BERTScore-F1，且更受偏好、参数更少。