语言大模型 / LLM

Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning

遗忘：一种改进大型语言模型微调的新机制

Ali Taheri, Alireza Taban, Qizhou Wang, Shanshan Ye, Abdolreza Mirzaei, Tongliang Liu, Bo Han

机构 * Department of Electrical and Computer Engineering, Isfahan University of Technology（伊斯法罕理工大学电气与计算机工程系） ； RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心） ； Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所） ； School of Computer Science, Simon Fraser University（西蒙菲莎大学计算机科学学院） ； Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心） ； Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.LG

AI总结 本文提出通过区分正负token来优化微调过程，通过遗忘不相关信息提升模型性能，实验表明该机制在多种基准上有效。

Journal ref Transactions on Machine Learning Research (TMLR), 03/2026

GraphIF: Enhancing Multi-Turn Instruction Following for Large Language Models with Relation Graph Prompt

GraphIF: 通过关系图提示增强大语言模型的多轮指令遵循

Zhenhe Li, Can Lin, Ling Zheng, Wen-Da Wei, Junli Liang, Qi Song

机构 * Zhenhe Li 1（李振和1） ； Can Lin 1（林灿1） ； Ling Zheng 1（郑凌1） ； Wen-Da Wei 2（韦文达2） ； Junli Liang 1（梁俊利1） ； Qi Song 1（宋琪1） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 GraphIF通过构建关系图结构，利用图提示提升大语言模型的多轮指令遵循能力，实验表明其在多轮对话评估指标上表现优异。

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence (AAAI-2026)

Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

多模态大语言模型和人类语言认知中的量化与物体感知

Raquel Montero, Natalia Moskvina, Paolo Morosi, Tamara Serrano, Elena Pagliarini, Evelina Leivada

机构 * Universitat Autònoma de Barcelona（巴塞罗那自治大学） ； Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高级科研与研究机构（ICREA）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文研究多模态大语言模型和人类在量化中的关键特征，探讨其在模型架构中的编码差异及语言影响。

FedSRD: Sparsify-Reconstruct-Decompose for Communication-Efficient Federated Large Language Models Fine-Tuning

FedSRD：用于通信高效联邦大语言模型微调的稀疏化-重建-分解

Guochen Yan, Luyuan Xie, Qingni Shen, Yuejian Fang, Zhonghai Wu

机构 * Beijing Key Laboratory of Data Intelligence and Security, National Engineering Research Center for Software Engineering, School of Computer Science, Peking University（北京数据智能与安全重点实验室、软件工程国家工程研究中心、计算机科学学院、北京大学） ； Beijing Key Laboratory of Data Intelligence and Security, School of Software and Microelectronics, Peking University（北京数据智能与安全重点实验室、软件与微电子学院、北京大学） ； Beijing Key Laboratory of Data Intelligence and Security, National Engineering Research Center for Software Engineering, Peking University（北京数据智能与安全重点实验室、软件工程国家工程研究中心、北京大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 FedSRD通过稀疏化重建分解框架降低联邦学习中大语言模型微调的通信开销，提升异构客户端数据性能，实验显示通信成本降低达90%。

Comments Accepted by WWW 2026

Fusian: Multi-LoRA Fusion for Fine-Grained Continuous MBTI Personality Control in Large Language Models

Fusian：多LoRA融合用于大语言模型中精细连续MBTI性格控制

Zehao Chen, Rong Pan

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL

AI总结 本文提出Fusian框架，通过轨迹收集和基于强化学习的动态融合实现大语言模型中连续性格控制，实验显示其在性格控制精度上优于基线方法。

Tokenization Allows Multimodal Large Language Models to Understand, Generate and Edit Architectural Floor Plans

分词使多模态大语言模型能够理解、生成和编辑建筑平面图

Sizhong Qin, Ramon Elias Weber, Xinzheng Lu

机构 * Tsinghua University（清华大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 HouseMind通过引入离散房间实例标记，实现了建筑平面图的统一理解和生成，具备高效且可控的布局生成能力。

Comments 20 pages, 9 figures. Accepted to CVPR 2026

Temporal Text Classification with Large Language Models

基于大语言模型的时序文本分类

Nishat Raihan, Marcos Zampieri

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本研究评估了多种大语言模型在时序文本分类任务中的表现，发现专有模型在少样本提示下表现优异，而微调虽能提升开源模型性能，但仍无法超越专有模型。

REx86: A Local Large Language Model for Assisting in x86 Assembly Reverse Engineering

REx86：一种用于协助x86汇编逆向工程的本地大语言模型

Darrin Lea, James Ghawaly, Golden Richard, Aisha Ali-Gombe, Andrew Case

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 REx86是一种本地大语言模型，通过微调提升x86汇编逆向工程的效率，显著提高代码理解和解决率。

Comments Accepted in 2025 Annual Computer Security Applications Conference (ACSAC)

SecP-Tuning: Efficient Privacy-Preserving Prompt Tuning for Large Language Models via MPC

SecP-Tuning: 通过MPC实现大语言模型高效隐私保护提示微调

Jinglong Luo, Zhuo Zhang, Yehong Zhang, Shiyu Liu, Ye Dong, Hui Wang, Yue Yu, Xun Zhou, Zenglin Xu

机构 * Pengcheng Laboratory（鹏城实验室） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Fudan University（复旦大学） ； Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Institute of Statistical Interdisciplinary Research, Southwestern University of Finance and Economics（统计交叉学科研究所，西南财经大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.LG

AI总结 SecP-Tuning通过MPC实现大语言模型高效隐私保护提示微调，显著提升微调效率并减少通信开销。

Comments ICLR 2026

A Foundational Individual Mobility Prediction Model based on Open-Source Large Language Models

基于开源大型语言模型的个体移动性预测基础模型

Zhenlin Qin, Leizhen Wang, Yancheng Ling, Francisco Camara Pereira, Zhenliang Ma

机构 * Department of Civil and Architectural Engineering, KTH Royal Institute of Technology（土木与建筑系，皇家理工学院） ； Department of Data Science and Artificial Intelligence, Monash University（数据科学与人工智能系，莫纳什大学） ； Department of Technology, Management and Economics Intelligent Transportation Systems, Technical University of Denmark（技术、管理与经济智能交通系统系，丹麦技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出MoBLLM，基于开源大语言模型，通过参数高效微调技术实现个体移动性预测，具有高准确性和成本效益，适用于多种交通场景。

Journal ref Transportation Research Part C: Emerging Technologies, Vol. 185, 105562 (2026)

Detection and Measurement of Hailstones with Multimodal Large Language Models

利用多模态大语言模型检测和测量冰雹

Moritz Alker, David C. Schedl, Andreas Stöckl

机构 * Digital Media Lab University of Applied Sciences Upper Austria（数字媒体实验室 上奥地利应用科学大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 利用多模态大语言模型检测和测量冰雹，通过社交媒体图像实现快速评估

Comments 6 pages, 5 figures, accepted at The 2nd International Conference on Electrical and Computer Engineering Researches

A Survey on Federated Fine-tuning of Large Language Models

大型语言模型联邦微调综述

Yebo Wu, Chunlin Tian, Jingguang Li, He Sun, Kahou Tam, Zhanting Zhou, Haicheng Liao, Jing Xiong, Zhijiang Guo, Li Li, Chengzhong Xu

机构 * State Key Laboratory of IOTSC, University of Macau（物联网科学与技术国家重点实验室，澳门大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The University of Hong Kong（香港大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文综述了大型语言模型联邦微调的技术、挑战与应用，旨在为隐私保护AI的发展提供指导。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026

Personalized Prediction of Perceived Message Effectiveness Using Large Language Model Based Digital Twins

基于大型语言模型的数字孪生个性化预测感知信息有效性

Jasmin Han, Janardan Devkota, Joseph Waring, Amanda Luken, Felix Naughton, Roger Vilardaga, Jonathan Bricker, Carl Latkin, Meghan Moran, Yiqun Chen, Johannes Thrul

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究利用LLM基于数字孪生方法提升戒烟信息个性化预测效果，实现更精准的mHealth干预内容定制。

Comments 31 pages, 5 figures, submitted to Journal of the American Medical Informatics Association (JAMIA). Drs. Chen and Thrul share last authorship

ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models

ReHear：基于音频大语言模型的迭代伪标签细化方法用于半监督语音识别

Zefang Liu, Chenyang Zhu, Sangwoo Cho, Shi-Xiong Zhang

机构 * Capital One, USA（Capital One公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 ReHear通过整合音频感知大语言模型实现伪标签迭代细化，有效缓解半监督语音识别中的误差传播问题。

Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training

为什么强化学习比监督微调在泛化能力上更优？一种以数据为中心的视觉语言模型后训练视角

Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：post-training(title,abstract)；SFT(title,abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过数据视角揭示了RL在VLM后训练中泛化能力优于SFT的原因，提出DC-SFT方法提升OOD性能并提高稳定性。

Aligning Dialogue Agents with Global Feedback via Large Language Model Multimodal Reward Decomposition

通过大语言模型多模态奖励分解对齐对话代理

Dong Won Lee, Hae Won Park, Cynthia Breazeal, Louis-Philippe Morency

机构 * MIT（麻省理工学院） ； CMU（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出了一种基于大语言模型的多模态奖励分解方法，通过分解会话级反馈来提升对话生成质量，无需人工反馈。

Comments 9 pages, 3 figures, 3 tables

Do Large Language Models Reflect Demographic Pluralism in Safety?

大语言模型在安全领域是否反映了人口多样性？

Usman Naseem, Gautam Siddharth Kashyap, Sushant Kumar Ray, Rafiq Ali, Ebad Shabbir, Abdullah Mohammad

机构 * Macquarie University（麦考瑞大学） ； University of Delhi（德里大学） ； DSEU-Okhla 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 Demo-SafetyBench通过在提示级别建模人口多样性，实现了在安全评估中兼顾可扩展性和人口鲁棒性。

Comments Accepted at EACL Findings 2026

FMBench: Adaptive Large Language Model Output Formatting

FMBench: 自适应大语言模型输出格式化

Yaoting Wang, Yun Zhou, Henghui Ding

机构 * Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL

AI总结 FMBench通过结合监督微调和强化学习微调，提升大语言模型在Markdown格式化任务中的语义和结构准确性。

HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models

HBO：用于微调大语言模型的分层平衡优化

Weixuan Wang, Minghao Wu, Barry Haddow, Alexandra Birch

机构 * School of Informatics, University of Edinburgh（爱丁堡大学信息学院） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 HBO通过分层平衡优化方法，在LLM微调中解决数据不平衡和异质性问题，提升跨数据集和单数据集的训练效果。

Accurate Network Traffic Matrix Prediction via LEAD: a Large Language Model-Enhanced Adapter-Based Conditional Diffusion Model

通过LEAD实现网络流量矩阵的准确预测：一种基于大语言模型的适配器条件扩散模型

Yu Sun, Yaqiong Liu, Nan Cheng, Jiayuan Li, Zihan Jia, Xialin Du, Mugen Peng

机构 * School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学） ； China Mobile Group Design Institute（中国移动集团设计院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 LEAD通过结合大语言模型与适配器条件扩散模型，有效提升网络流量矩阵预测的准确性与鲁棒性。

Self-Generative Adversarial Fine-Tuning for Large Language Models

自生成对抗微调用于大语言模型

Shiguang Wu, Yaqing Wang, Quanming Yao

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Beijing Institute of Mathematical Sciences and Applications（北京数学科学研究院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出SGALM，通过生成对抗游戏实现大语言模型的对齐微调，无需外部奖励模型，达到最先进的性能。

Tangent Space Fine-Tuning for Directional Preference Alignment in Large Language Models

切线空间微调用于大语言模型中的方向偏好对齐

Mete Erdogan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 TS-DPO通过切线空间微调实现多偏好维度的可控对齐，提升模型在帮助性与冗余性之间的平衡能力。

Optimal Budgeted Adaptation of Large Language Models

大语言模型的最优预算适应

Jing Wang, Jie Shen, Dean Foster, Zohar Karnin, Jeremy C Weiss

机构 * Amazon（亚马逊公司） ； Technology Innovation Institute（技术创新研究所） ； Stevens Institute of Technology（史蒂文斯技术学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出了一种基于预算意识的监督微调框架，通过上下文Stackelberg博弈模型提升大语言模型的微调效率和准确性。

Design and Empirical Study of a Large Language Model-Based Multi-Agent Investment System for Chinese Public REITs

基于大语言模型的多智能体投资系统设计与实证研究：中国公共REITs市场

Zheng Li

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究设计并实证了一种基于大语言模型的多智能体投资系统，用于中国公共REITs市场，通过多智能体协作提升交易的风险调整收益。

MolX: Enhancing Large Language Models for Molecular Understanding With A Multi-Modal Extension

MolX: 通过多模态扩展增强大型语言模型的分子理解能力

Khiem Le, Zhichun Guo, Kaiwen Dong, Xiaobao Huang, Bozhao Nan, Roshni Iyer, Xiangliang Zhang, Olaf Wiest, Wei Wang, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame, IN, USA（诺丁汉大学） ； University of California, Los Angeles, CA, USA（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 MolX通过多模态扩展提升LLM对分子的理解能力，利用SMILES和分子图提取细粒度特征，并结合分子指纹提升性能，有效提升分子相关任务表现。

Comments MLoG-GenAI@KDD'25

Propaganda AI: An Analysis of Semantic Divergence in Large Language Models

宣传AI：大型语言模型中语义分歧的分析

Nay Myat Min, Long H. Pham, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡国立管理学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出RAVEN方法，用于检测大型语言模型中因概念提示引发的语义分歧，通过结合语义熵与跨模型分歧，揭示模型在特定主题上的异常响应，以提高对宣传影响的防范能力。

Comments Accepted at ICLR 2026, 22 pages, 1 figure

Agent-Q: Fine-Tuning Large Language Models for Quantum Circuit Generation and Optimization

Agent-Q: 为量子电路生成和优化微调大型语言模型

Linus Jern, Valter Uotila, Cong Yu, Bo Zhao

机构 * Aalto University ； Aalto University \& University of Helsinki 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Agent-Q通过微调LLMs生成和优化量子电路，提供14,000个电路用于多种优化问题。

Comments 12 pages, 8 figures, 3 tables, presented at IEEE International Conference on Quantum Computing and Engineering (QCE) 2025

Journal ref 2025 IEEE International Conference on Quantum Computing and Engineering (QCE), Albuquerque, NM, USA, 2025, pp. 1621-1632

Chat to Chip: Large Language Model Based Design of Arbitrarily Shaped Metasurfaces

Chat to Chip: 基于大规模语言模型的任意形状超材料设计

Huanshu Zhang, Lei Kang, Sawyer D. Campbell, Douglas H. Werner

机构 * Department of Electrical Engineering（电气工程系） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出利用大规模语言模型设计任意形状超材料，通过自然语言交互实现快速设计，展示了LLM在纳米光子学中的应用潜力。

Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models

潜在知识作为微调大语言模型事实获取的预测因子

Daniel B. Hier, Tayo Obafemi-Ajayi

机构 * Department of Neurology and Rehabilitation, University of Illinois at Chicago（神经学与康复医学系，伊利诺伊大学芝加哥分校） ； Engineering Program, Missouri State University（工程学院，密苏里州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 研究通过微调大语言模型，发现潜在知识是预测事实获取速度和泛化能力的关键因素，同时揭示了训练强化对事实退化的影响。

ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation

ShapLoRA: 通过受Shapley值启发的重要性估计在大型语言模型上分配低秩适应

Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu

机构 * Singapore Management University（新加坡国立管理学院） ； University of Pennsylvania（宾夕法尼亚大学） ； Emory University（埃默里大学） ； University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 ShapLoRA通过受Shapley值启发的重要性估计方法，改进大型语言模型的低秩适应分配，提升模型性能。

Comments accepted by CPAL