arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-06-03 至 2026-06-03 共收录 404 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 34 篇

2510.16282 2026-06-03 cs.CL 90%

Instant Personalized Large Language Model Adaptation via Hypernetwork

通过超网络实现即时个性化大型语言模型自适应

Zhaoxuan Tan, Zixuan Zhang, Haoyang Wen, Zheng Li, Rongzhi Zhang, Pei Chen, Fengran Mo, Zheyuan Liu, Qingkai Zeng, Qingyu Yin, Meng Jiang

机构 * University of Notre Dame(诺丁汉大学) Amazon.com Inc(亚马逊公司) Université de Montréal(蒙特利尔大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 提出Profile-to-PEFT框架,使用超网络将用户编码直接映射到适配器参数,实现无需用户训练的即时个性化,在降低计算成本的同时优于现有方法。

Comments accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02606 2026-06-03 cs.LG cs.AI 90%

ReLoRA: Knowledge-Reusing Adaptation for Fast Rollout of Evolving LLM Services

ReLoRA: 面向演化LLM服务快速部署的知识复用适配

Yang Xu, Zihuai Xu, Hongli Xu, Yunming Liao, Zhiwei Yao, Xitong Fu

机构 * School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学) Suzhou Institute for Advanced Research, University of Science and Technology of China(苏州先进研究院,中国科学技术大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 针对基础模型频繁更新导致已有LoRA适配器失效的问题,提出ReLoRA框架,通过贝叶斯优化初始化与调度正则化微调,实现知识复用与快速重新适配,降低计算开销并提升性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.07971 2026-06-03 cs.LG 90%

Low-Rank Curvature for Zeroth-Order Optimization in LLM Fine-Tuning

低秩曲率用于大语言模型微调中的零阶优化

Hyunseok Seung, Jaewoo Lee, Hyunsuk Ko

机构 * University of Wisconsin – Madison(威斯康星大学麦迪逊分校) University of Georgia(佐治亚大学) Hanyang University(翰阳大学)

专题命中 指令微调 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出LOREN方法,通过低秩块对角预条件器捕捉曲率并利用REINFORCE留一法梯度估计器降低方差,在LLM微调中实现更高精度和更快收敛,同时峰值内存使用降低27.3%。

Comments Accepted to the AAAI Conference on Artificial Intelligence (AAAI-2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02991 2026-06-03 cs.CL cs.AI 90%

Pretraining Language Models on Historical Text

在历史文本上预训练语言模型

Xiaoxi Luo, Zachary Shinnick, Niclas Griesshaber, Yixuan Wang, Junchi Yu, Freda Shi, Philip Torr, Yao Lu

机构 * University of Waterloo(多伦多大学) Vector Institute(向量研究所) AIML, Adelaide University(AIML,阿德莱德大学) Department of Engineering Science, University of Oxford(牛津大学工程科学系) Oxford Centre for Economic and Social History, University of Oxford(牛津大学经济与社会史中心) Department of Computer Science, University College London(伦敦大学学院计算机科学系)

专题命中 指令微调 :language model(title,abstract);pretraining(title);instruction tuning(abstract);post-training(abstract)

AI总结 提出TypewriterLM,一个仅在1913年前英文文本上训练的7.24B历史语言模型,通过构建TypewriterCorpus语料库、引入词汇基础指令微调框架和History-Event基准套件,解决数据质量、时间泄漏、训练和评估等挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31530 2026-06-03 eess.AS cs.SD 89%

UNISON: A Unified Sound Generation and Editing Framework via Deep LLM Fusion

UNISON: 通过深度LLM融合的统一声音生成与编辑框架

Zhaoqing Li, Haoning Xu, Jingran Su, Yaofang Liu, Zhefan Rao, Huimeng Wang, Jiajun Deng, Tianzi Wang, Zengrui Jin, Rui Liu, Haoxuan Che, Xunying Liu

机构 * The Chinese University of Hong Kong(香港中文大学) The Hong Kong Polytechnic University(香港理工大学) City University of Hong Kong(香港城市大学) The Hong Kong University of Science and Technology(香港科学与技术大学) Tsinghua University(清华大学) Huawei Research Hong Kong(华为香港研究)

专题命中 指令微调 :LLM(title,title_cn)

AI总结 提出UNISON,一个基于潜在扩散的统一框架,通过层间深度LLM融合和多任务架构,实现语音生成、声音生成和音频编辑,在多个任务上达到或超越专业模型性能,且参数量减少约4倍。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03685 2026-06-03 cs.LG cs.AI 89%

A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners

监督微调的大语言模型规划器中世界模型恢复的深入探究

Patrick Emami, Nan Qiang, Peter Graf

机构 * National Laboratory of the Rockies(落基山国家实验室)

专题命中 指令微调 :LLM(title,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 通过可解释性实验,研究监督微调如何影响大语言模型在经典规划任务中恢复世界模型的能力,发现微调使模型线性编码动作有效性和状态谓词,且更广泛的状态空间覆盖有助于更准确的世界模型恢复。

Comments 17 pages. Under review at TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.00494 2026-06-03 cs.LG 89%

ProjQ: Project-and-Quantize for Adapter-Aware LLM Compression

ProjQ:面向适配器感知的大语言模型压缩的投影与量化

Wenya Yu, Chao Zhang, Li Wang, Samson Lasaulce, Merouane Debbah

机构 * University of California, Berkeley(加州大学伯克利分校)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 提出ProjQ框架,通过正交子空间投影将量化噪声约束到低秩流形,利用交替算法将主导误差卸载给适配器,实现更优的量化误差补偿和下游任务微调。

Comments Acceppted paper in ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02857 2026-06-03 cs.LG cs.AI 88%

GRZO: Group-Relative Zeroth-Order Optimization for Large Language Model Fine-Tuning

GRZO:用于大语言模型微调的组相对零阶优化

Liyan Tan, Yequan Zhao, Yifan Yang, Ruijie Zhang, Xinling Yu, Zheng Zhang

机构 * University of California, Santa Barbara(加州大学圣巴巴拉分校)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI、cs.LG

AI总结 提出GRZO优化器,通过组相对归一化聚合每个样本的损失,在不增加前向成本的情况下将有效梯度方向数从1提升至批量大小,降低方差并改善收敛,在多个模型和任务上优于MeZO。

Comments Preprint. Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.19959 2026-06-03 cs.LG cs.DC 88%

ParaBlock: Communication-Computation Parallel Block Coordinate Federated Learning for Large Language Models

ParaBlock:面向大语言模型的通信-计算并行块坐标联邦学习

Yujia Wang, Yuanpu Cao, Jinghui Chen

机构 * College of Information Sciences and Technology(信息科学与技术学院) Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.LG

AI总结 提出ParaBlock方法,通过并行化通信与计算线程,在联邦学习大语言模型时提升通信效率,并理论证明其收敛率与标准方法相同,实验验证其性能与效率优势。

Comments Accepted by TMLR

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02400 2026-06-03 eess.AS 86%

SoulX-Transcriber: A Robust End-to-End Framework for Multi-Speaker Speech Transcription

SoulX-Transcriber:一个鲁棒的多说话人语音转录端到端框架

Yuhang Dai, Haopeng Lin, Zhennan Lin, Jiale Qian, Jun Wu, Hanke Xie, Hao Meng, Hanlin Wen, Chuang Ding, Shunshun Yin, Ming Tao, Lei Xie, Xinsheng Wang

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract)

AI总结 提出SoulX-Transcriber,一个基于LLM的统一多说话人转录系统,通过两阶段训练策略联合建模说话人日志和ASR,提升复杂场景下的说话人区分和转录鲁棒性。

Comments 10 pages, 4 figures, 3tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01767 2026-06-03 cs.AI 83%

EvoBrain: Continual Learning of EEG Foundation Models Across Heterogeneous BCI Tasks

EvoBrain: 面向异构BCI任务的EEG基础模型的持续学习

Yangxuan Zhou, Sha Zhao, Jiquan Wang, Shijian Li, Gang Pan

机构 * State Key Laboratory of Brain-machine Intelligence and College of Computer Science and Technology, Zhejiang University(脑机智能国家重点实验室和浙江大学计算机科学与技术学院) MOE Frontier Science Center for Brain Science and Brain-Machine Integration, Zhejiang University(教育部脑科学与脑机集成前沿科学中心,浙江大学)

专题命中 指令微调 :foundation model(title,abstract);post-training(abstract);分类 cs.AI

AI总结 提出EvoBrain框架,通过神经频谱任务归一化和响应亲和蒸馏,解决EEG基础模型在异构BCI任务中的持续学习问题,实现跨任务知识迁移和遗忘缓解。

Comments 18 pages,12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.10419 2026-06-03 cs.LG cs.AI cs.CL stat.ML 82%

Multiple Choice Learning of Low-Rank Adapters for Language Modeling

低秩适配器的多选学习用于语言建模

Victor Letzelter, Hugo Malard, Mathieu Fontaine, Gaël Richard, Slim Essid, Andrei Bursuc, Patrick Pérez

机构 * Institut National de la Recherche Scientifique (INRS)(国家科学研究院)

专题命中 指令微调 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出LoRA-MCL训练方案,通过多选学习和低秩适配扩展语言模型的下一词预测,以在推理时解码多样且合理的句子延续。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.12247 2026-06-03 cs.CL cs.AI cs.LG 82%

Plan, Verify and Fill: A Structured Parallel Decoding Approach for Diffusion Language Models

规划、验证与填充:扩散语言模型的结构化并行解码方法

Miao Li, Hanyang Jiang, Sikai Cheng, Hengyu Fu, Yuhang Cai, Baihe Huang, Tinghan Ye, Xuanzhou Chen, Pascal Van Hentenryck

机构 * Georgia Institute of Technology(佐治亚理工学院) University of California, Berkeley(加州大学伯克利分校) University of Michigan(密歇根大学)

专题命中 指令微调 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 提出Plan-Verify-Fill (PVF)方法,通过定量验证进行分层骨架规划,并采用验证协议实现结构化停止,在保持准确性的同时将函数评估次数减少高达65%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03792 2026-06-03 cs.CV cs.LG 81%

Training-Free Multi-Concept LoRA Composition with Prompt-Aware Weighting

免训练的多概念LoRA组合与提示感知加权

Georgios Tsoumplekas, Stella Bounareli, Vasileios Argyriou

机构 * Department of Networks and Digital Media, Kingston University London, UK(网络与数字媒体系,金史密斯大学伦敦分校)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 提出一种免训练的提示感知加权策略,通过优化组合多个LoRA模块的输出实现多概念定制,提升图像质量和概念保真度。

Comments Accepted at IEEE FG 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03130 2026-06-03 cs.LG 81%

Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

合成幻觉,真实收益:来自前沿模型的硬负样本用于FIM幻觉缓解

Mahdi Erfanian, Nelson Daniel Troncoso, Aashna Garg, Amabel Gale, Xiaoyu Liu, Pareesa Ameneh Golnari, Shengyu Fu

机构 * University of Illinois Chicago(伊利诺伊大学芝加哥分校) Microsoft(微软)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);分类 cs.LG

AI总结 针对小型开源代码模型在IDE自动补全中产生的填充中间(FIM)幻觉问题,提出一种无需执行的替代方法:利用前沿代码模型合成看似合理但错误的补全作为硬负样本,通过对比合成幻觉与真实开发者编辑的差异作为监督微调信号,在Delulu基准上提升精确匹配18.8个百分点。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02947 2026-06-03 cs.LG cs.CV 79%

BYORn: Bootstrap Your Own Responses to Defend Large Vision-Language Models Against Backdoor Attacks

BYORn:自举你的响应以防御大型视觉-语言模型的后门攻击

Ivan Sabolić, Marin Oršić, Josip Šarić, Sven Lončarić

机构 * University of Rijeka(里耶卡大学)

专题命中 指令微调 :language model(title,abstract);分类 cs.LG

AI总结 提出BYORn框架,通过识别并替换语义不合理的后门目标响应,打破触发器与目标输出的关联,从而在保持干净任务性能的同时提升对后门攻击的鲁棒性。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.19262 2026-06-03 cs.LG cs.CR 79%

Backdooring Masked Diffusion Language Models

掩码扩散语言模型的后门攻击

Daniel Yiming Cao, Chengzhong Wang, Sheng-Yen Chou, Chengyu Huang, Pin-Yu Chen, Shengwei An

机构 * Cornell University(康奈尔大学) Virginia Tech(弗吉尼亚理工学院) IBM Research(IBM研究院)

专题命中 指令微调 :language model(title,abstract);分类 cs.LG

AI总结 提出SHADOWMASK后门攻击方法,通过修改掩码扩散语言模型的前向破坏过程,实现高成功率攻击并保持模型清洁性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.05852 2026-06-03 cs.CV 78%

Interpretable Modeling of Driver Attention Shifts with a Vision-Language Model

基于视觉-语言模型的驾驶员注意力转移可解释建模

Kaiser Hamid, Khandakar Ashrafi Akbar, Peihang Li, Nade Liang

机构 * Texas Tech University(德克萨斯理工大学) Towson University(托森大学)

专题命中 指令微调 :language model(title,abstract)

AI总结 本研究通过少量人工监督微调视觉-语言模型,生成可解释的驾驶员注意力转移描述,以补充传统注视热图,提升人因分析、监控和态势感知支持。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30915 2026-06-03 cs.CV 75%

DiTTo: Scalable Order-aware All-in-One Image Restoration Agent

DiTTo: 可扩展的排序感知全能图像修复智能体

Seungho Choi, Jihyong Oh

机构 * CMLab, Chung-Ang University(Chung-Ang 大学 CMLab) David S. Hippocampus Department of Computer Science Cranberry-Lemon University(Cranberry-Lemon 大学 计算机科学系 Hippocampus 教授)

专题命中 指令微调 :SFT(abstract,abstract_cn);language model(abstract)

AI总结 提出DiTTo框架,通过模拟器高效构建最优修复轨迹数据集,并采用排序感知对齐实现修复专家的即插即用扩展,在多退化图像修复中达到最优性能。

Comments Please visit our project page at https://cmlab-korea.github.io/DiTTo/

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03968 2026-06-03 cs.CL cs.AI 73%

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC:为超越可验证奖励的强化学习协同设计查询与评分标准

Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

机构 * Amazon(亚马逊) Georgia Institute of Technology(佐治亚理工学院)

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 针对基于评分标准的强化学习中查询分布固定导致的评分标准质量瓶颈,提出QUBRIC框架,通过协同设计查询与评分标准,利用教师关键点、对比生成和可学习性过滤,在ArenaHard上取得+5.5点提升,并泛化到法律、道德和叙事推理任务。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02908 2026-06-03 cs.CL cs.AI 73%

WRIT: Write-Read Intensive Trajectory Synthesis for Multi-Turn User-Facing Agents

WRIT: 面向多轮用户代理的写密集型轨迹合成

Hengrui Gu, Xiaotian Han, Kaixiong Zhou

机构 * North Carolina State University(北卡罗来纳州立大学) Case Western Reserve University(凯斯西储大学)

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 针对多轮用户代理在信息收集和决策中面临的证据负担挑战,提出WRIT方法,通过合成写密集型和读密集型轨迹,训练代理在信息负载下做出基于证据的决策,仅用2K轨迹即可提升性能并减少推理时token使用。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03814 2026-06-03 cs.AI 70%

Leveraging BART to Assess CS1 C++ Programming Assignments using Rubric-based Criteria

利用BART基于评分标准评估CS1 C++编程作业

Kelsey Rainey, Jesse Roberts

机构 * University of California, Berkeley(加州大学伯克利分校) Stanford University(斯坦福大学)

专题命中 指令微调 :LLM(abstract_cn);pretraining(abstract);分类 cs.AI

AI总结 提出基于评分标准的多任务微调BART模型,用于自动评分C++编程作业,通过联合预测数值分数和等级区间并匹配分布,使评分更接近教师行为。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03695 2026-06-03 cs.CL 70%

Don't Forget Your Embeddings: Robust Knowledge Erasure via Precise Editing of Embeddings

不要忘记你的嵌入:通过精确编辑嵌入实现鲁棒的知识擦除

Clara Haya Suslik, Or Shafran, Mor Geva

机构 * Blavatnik School of Computer Science and AI, Tel Aviv University(巴尔-艾赫伦计算机科学与人工智能学院,特拉维夫大学)

专题命中 指令微调 :language model(abstract);prompting(abstract);分类 cs.CL

AI总结 提出 EMBER 模块,利用稀疏矩阵分解精确擦除词嵌入中的概念相关特征,增强现有知识擦除方法的鲁棒性和特异性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03604 2026-06-03 cs.CL 70%

Beyond the Literal: Decomposing Pragmatic Intent in Multimodal Meme Understanding

超越字面:多模态模因理解中的语用意图分解

Zhengyi Zhao, Shubo Zhang, Zezhong Wang, Luyao Ye, Huimin Wang, Hanqi Yan, Binyang Li, Kam-Fai Wong, Yulan He

机构 * The Chinese University of Hong Kong(香港中文大学) Huawei(华为) Central China Normal University(中央师范大学) Shenzhen University(深圳大学) King’s College London(伦敦国王学院) University of International Relations(国际关系大学)

专题命中 指令微调 :language model(abstract);instruction tuning(abstract);分类 cs.CL

AI总结 针对大型视觉语言模型(LVLMs)在理解模因时倾向于描述字面内容而非语用意图的问题,提出Intent Projection框架,通过表示、输出和目标三层面的字面-语用分解,在六个基准上超越开源模型并缩小与专有模型的差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.24037 2026-06-03 cs.AI 70%

Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution

交给专家:通过稀疏性演化进行稀疏微调修复稀疏大语言模型

Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

机构 * Eindhoven University of Technology(埃因霍温理工大学) University of Cambridge(剑桥大学) University of Luxembourg(卢森堡大学) University of Twente(埃因霍温理工大学) University of Surrey(萨里大学) Tübingen AI Center(图宾根人工智能中心) Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所) ELLIS Institute Tübingen(图宾根ELLIS研究所)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 提出稀疏演化微调(SEFT)框架,通过周期性重分配稀疏任务特定更新和重新激活有益剪枝权重,在保持稀疏性效率优势的同时实现稀疏大语言模型的有效下游任务适配。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03624 2026-06-03 cs.AI cs.CL 62%

Bridging Auxiliary Constraints to Resolve Instruction Following in Large Reasoning Models

桥接辅助约束以解决大型推理模型中的指令遵循问题

Zhengyi Zhao, Shubo Zhang, Huimin Wang, Zezhong Wang, Yutian Zhao, Yefeng Zheng, Binyang Li, Yulan He, Kam-Fai Wong, Xian Wu

机构 * The Chinese University of Hong Kong(香港中文大学) University of International Relations(国际关系大学) Tencent Jarvis Lab(腾讯Jarvis实验室) Westlake University(西湖大学) King’s College London(伦敦国王学院)

专题命中 指令微调 :prompting(abstract);分类 cs.CL、cs.AI

AI总结 针对大型推理模型难以可靠遵循多重约束的问题,提出约束关系图补全框架,通过显式建模约束关系并发现桥接约束,将约束违反率降低39%。

Comments a pre-MIT Press publication version

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03290 2026-06-03 cs.LG cs.AI 62%

Message Tuning Outshines Graph Prompt Tuning: A Prismatic Space Perspective

消息调优优于图提示调优:棱镜空间视角

Yancheng Chen, Dun Ma, Shuai Zhang, Yang Liu, Xixun Lin, Xiangyu Zhao, Wenguo Yang, Wei Chen, Chuan Zhou

机构 * University of Science and Technology of China(中国科学技术大学)

专题命中 指令微调 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出棱镜空间理论(PS-Theory)量化图提示调优的适应能力上限,并引入消息调优(MTG)方法,通过注入可学习消息原型超越该上限,实验验证其优越性。

Comments Accepted by ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02437 2026-06-03 cs.LG cs.CL 62%

On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters

论PEFT的扩展:迈向万亿参数百万个性化模型

Mind Lab, :, Vin Bo, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Wenhao Li, Zhihui Li, Allen Lin, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Adrian Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

专题命中 指令微调 :foundation model(abstract);分类 cs.CL、cs.LG

AI总结 研究参数高效微调(PEFT)作为共享基础模型上的持久局部状态,通过三个扩展轴(向上、向下、向外)分析其作为个性化模型基质的可行性,并提出MinT基础设施管理适配器生命周期。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03723 2026-06-03 cs.LG 57%

Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter

先压缩后合并:从多个LoRA到一个低秩适配器

Zhengbao He, Ruiqi Ding, Zhehao Huang, Ruikai Yang, Tao Li, Xiaolin Huang

机构 * Institute of Image Processing and Pattern Recognition, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China(图像处理与模式识别研究所,自动化与智能感知学院,上海交通大学,上海,中国) Shanghai Key Laboratory of Flexible Medical Robotics, Tongren Hospital, Institute of Medical Robotics, Shanghai Jiao Tong University, Shanghai, China(柔性医疗机器人上海市重点实验室,同仁医院,医疗机器人研究所,上海交通大学,上海,中国)

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 针对多LoRA合并时全参数合并破坏低秩结构的问题,提出先压缩后合并(CtM)方法,通过共享子空间投影保证输出严格秩r,性能优于现有单LoRA基线。

Comments Accepted to ICML 2026. Code: https://github.com/ZhengbaoHe/compress-then-merge

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.02998 2026-06-03 cs.LG eess.AS 57%

CoughSense: Five-Class Respiratory Disease Classification via Whisper Encoder Fine-Tuning and Dual-Encoder Cross-Attention Fusion with Balanced Contrastive Learning

CoughSense:通过Whisper编码器微调和双编码器交叉注意力融合与平衡对比学习的五类呼吸系统疾病分类

Nikhil Vincent

机构 * Independent Researcher, Bothell, Washington, USA(独立研究者,华盛顿州贝斯尔市)

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 提出CoughSense系统,利用Whisper编码器微调和双编码器交叉注意力融合,结合主动帧注意力池化和平衡对比学习,在智能手机录音上实现五类呼吸系统疾病(健康、COVID-19、哮喘/呼吸疾病、支气管炎、肺炎)的高精度分类。

Comments 26 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏