arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-24 至 2026-04-24 共收录 16 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 16 篇

2604.21076 2026-04-24 cs.CL cs.AI 93%

Serialisation Strategy Matters: How FHIR Data Format Affects LLM Medication Reconciliation

序列化策略至关重要:FHIR数据格式如何影响LLM药物重整

Sanjoy Pator

机构 * Independent Researcher(独立研究者)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);instruction tuning(abstract)

AI总结 研究探讨FHIR数据序列化对LLM药物重整性能的影响,发现临床叙述格式在小模型中表现更优,而大模型更倾向使用原始JSON,揭示了序列化策略对临床安全审计的重要性。

Comments 14 pages, 7 figures, independent research

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.21525 2026-04-24 cs.CL 92%

Job Skill Extraction via LLM-Centric Multi-Module Framework

通过以LLM为中心的多模块框架进行工作技能提取

Guojing Li, Zichuan Fu, Junyi Li, Faxue Liu, Wenxia Zhou, Yejing Wang, Jingtong Gao, Maolin Wang, Rungen Liu, Wenlin Zhang, Xiangyu Zhao

机构 * City University of Hong Kong(香港城市大学) Renmin University of China(中国人民大学)

专题命中 指令微调 :LLM(title,title_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出SRICL框架,结合语义检索、上下文学习和监督微调,解决长尾术语和跨域迁移下的工作广告技能提取问题,提升F1指标并减少无效标签。

Comments 5 pages, 5 figures, 3 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12710 2026-04-24 cs.LG cs.AI cs.CL 92%

LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety

LASA:语言无关的语义对齐在语义瓶颈处用于LLM安全性

Junxiao Yang, Haoran Liu, Jinzhe Tu, Jiale Cheng, Zhexin Zhang, Shiyao Cui, Jiaqi Weng, Jialing Tao, Hui Xue, Hongning Wang, Han Qiu, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学对话人工智能(CoAI)组,DCST,清华大学) Alibaba Group(阿里巴巴集团) Tsinghua University(清华大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LASA方法,通过在语义瓶颈层对齐安全理解,提升LLM在所有语言中的安全性,实验显示攻击成功率显著降低。

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.11707 2026-04-24 cs.CL cs.AI 91%

Federated Co-tuning Framework for Large and Small Language Models

联邦联合微调框架用于大语言模型和小语言模型

Tao Fan, Yan Kang, Guoqiang Ma, Lixin Fan, Shuoling Liu, Kai Chen, Qiang Yang

机构 * Hong Kong University of Science and Technology(香港科技大学) WeBank Co., Ltd(WeBank公司) Hong Kong Polytechnic University(香港理工大学)

专题命中 指令微调 :language model(title,abstract);small language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract)

AI总结 本文提出FedCoLLM框架,通过轻量级适配器实现大模型与小模型的协同微调,提升小模型性能并增强大模型领域知识。

详情

展开后加载摘要…

URL PDF HTML 收藏
2410.16006 2026-04-24 cs.CL 90%

Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

探索连续微调以增强大语言模型的语言能力

Divyanshu Aggarwal, Sankarshan Damle, Navin Goyal, Satya Lokam, Sunayana Sitaram

机构 * Microsoft(微软) Microsoft Research India(微软印度研究院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 本文研究了连续微调对大语言模型语言适应性的影响,发现相同比例数据集可保持任务能力,而数据不相似时会导致性能下降,通过层冻结和生成重放方法提升语言能力。

Comments 19 pages, 6 tables, 4 figures, Accepted to ACL 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.16737 2026-04-24 cs.LG cs.AI cs.CL cs.CR math.OC 89%

Secure LLM Fine-Tuning via Safety-Aware Probing

通过安全感知探测实现安全的大语言模型微调

Chengcan Wu, Zhixin Zhang, Zeming Wei, Yihao Zhang, Xiaokun Luan, Meng Sun

机构 * School of Mathematical Sciences, Peking University(北京大学数学科学学院)

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文探讨了非有害数据微调为何可能降低安全性,提出安全感知探测框架,通过对比安全信号定位安全相关方向,优化轻量级探针以引导参数更新远离有害轨迹,提升安全与性能的平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.20933 2026-04-24 cs.LG cs.AI 88%

IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

IRIS:基于Rényi的迭代自博弈用于大语言模型微调

Wenjie Liao, Like Wu, Liangjie Zhao, Shihui Xu, Shigeru Fujimura

机构 * Graduate School of Information, Production and Systems(信息、生产与系统研究生院) Institute of Computing Technology, University of the Chinese Academy of Sciences(中国科学院大学计算技术研究所)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI、cs.LG

AI总结 IRIS通过可调Rényi自博弈框架提升大语言模型微调效果,统一解释多种自博弈方法,实验表明其在少样本下优于传统监督微调。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.21571 2026-04-24 cs.AI cs.LG 88%

Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies

可分离专家架构:通过可组合的适配器和可删除的用户代理实现隐私保护的LLM个性化

Chris Schneider, Philipp Schoenegger, Ben Bariach

机构 * Microsoft AI(微软人工智能)

专题命中 指令微调 :LLM(title,title_cn);分类 cs.AI、cs.LG

AI总结 本文提出一种三层架构,通过静态基础模型、可组合的领域专家LoRA适配器和可删除的用户代理,实现将个人数据与共享权重解耦,从而在不重新训练的情况下实现隐私保护的个性化LLM。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.21045 2026-04-24 cs.CL 86%

Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech

分层策略优化用于无界语音的同时翻译

Siqi Ouyang, Shuoyang Ding, Oleksii Hrinchuk, Vitaly Lavrukhin, Brian Yan, Boris Ginsburg, Lei Li

机构 * Carnegie Mellon University(卡内基梅隆大学) NVIDIA(英伟达)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出分层策略优化方法,通过后训练处理不完美的监督微调数据,提升同时语音翻译质量与效率,实验显示在1.5秒延迟下,COMET和MetricX得分分别提升超7和1.25。

Comments ACL 2026 Oral

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06498 2026-04-24 cs.CL astro-ph.IM 83%

Spec-o3: A Tool-Augmented Vision-Language Agent for Rare Celestial Object Candidate Vetting via Automated Spectral Inspection

Spec-o3:一种工具增强的视觉-语言代理,用于通过自动化光谱检查验证稀有天体候选体

Minghui Jia, Qichao Zhang, Ali Luo, Linjing Li, Shuo Ye, Hailing Lu, Wen Hou, Dongbin Zhao

机构 * SKL-MAIS, Institute of Automation, CAS(SKL-MAIS,自动化研究所,中国科学院) School of Advanced Interdisciplinary Sciences, UCAS(交叉科学学院,中国科学院大学) National Astronomical Observatories, CAS(国家天文台,中国科学院) School of Artificial Intelligence, UCAS(人工智能学院,中国科学院大学)

专题命中 指令微调 :language agent(title,abstract);post-training(abstract);分类 cs.CL

AI总结 本文提出Spec-o3,一种工具增强的视觉-语言代理,通过多模态链式推理实现天文学家对稀有天体候选体的自动化光谱检查,提升验证效率和准确性。

Comments Accepted to ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.09253 2026-04-24 cs.LG cs.AI 82%

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

RIFT:通过奖励引导微调重用负样本

Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

机构 * Huawei Noah’s Ark Lab(华为诺亚实验室)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);分类 cs.AI、cs.LG

AI总结 RIFT通过奖励引导微调利用所有自生成样本,重用负轨迹并重新加权损失,提升对齐效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.07961 2026-04-24 cs.CV 80%

SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

SGG-R$^{\rm 3}$: 从单token预测到端到端无偏场景图生成

Jiaye Feng, Qixiang Yin, Yuankun Liu, Tong Mo, Weiping Li

机构 * School of Software and Microelectronics, Peking University(北京大学软件与微电子学院) Zhongguancun Academy(中关村学院)

专题命中 指令微调 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出SGG-R$^{\rm 3}$框架,通过结合任务特定的推理过程和强化学习优化,解决场景图生成中的关系稀疏和长尾问题,提升生成效果和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06428 2026-04-24 cs.LG 79%

BackPlay: Head-Only Look-Back Self-Correction for Diffusion Language Models

BackPlay:用于扩散语言模型的头部-only回溯自校正

Liming Liu, Binxuan Huang, Zixuan Zhang, Xin Liu, Bing Yin, Tuo Zhao

机构 * Amazon(亚马逊)

专题命中 指令微调 :language model(title,abstract);分类 cs.LG

AI总结 BackPlay通过在冻结的生成器上训练轻量级校正头,改进多token解码下的生成质量,利用回溯校正机制减少错误积累。

Comments 16 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.12845 2026-04-24 cs.CV 78%

Multimodal Protein Language Models for Enzyme Kinetic Parameters: From Substrate Recognition to Conformational Adaptation

多模态蛋白质语言模型用于酶动力学参数:从底物识别到构象适应

Fei Wang, Xinye Zheng, Kun Li, Yanyan Wei, Yuxin Liu, Ganpeng Hu, Tong Bao, Jingwen Yang

机构 * School of Computer Science and Information Engineering(计算机科学与信息工程学院) Institute of Artificial Intelligence(人工智能研究院) CVLab, College of Information Technology(CV实验室,信息学院) Intelligent Interconnected Systems Laboratory of Anhui Province(安徽省智能互联系统实验室) School of Food Biological Engineering(食品生物工程学院)

专题命中 指令微调 :language model(title,abstract)

AI总结 本文提出多阶段多模态条件建模方法,通过ERBA模块在蛋白质语言模型中注入跨模态信息,提升酶动力学参数预测的准确性与生物合理性。

Comments Accepted by CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.18629 2026-04-24 cs.LG cs.AI 62%

HyperAdapt: Simple High-Rank Adaptation

HyperAdapt: 简单的高秩适应

Abel Gurung, Joseph Campbell

机构 * Purdue University(普渡大学)

专题命中 指令微调 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 HyperAdapt通过高秩更新减少可训练参数,实现高效的微调,在多个基准测试中表现接近全微调方法。

Comments Published in Transactions on Machine Learning Research

详情

展开后加载摘要…

URL PDF HTML 收藏
2401.16774 2026-04-24 math.DS math.AT math.GR 50%

Contractible subshifts

可缩缩移子系统

Leo Poirier, Ville Salo

专题命中 指令微调 :SFT(abstract)

AI总结 本文引入了可缩缩移子系统的概念,探讨了其与强不可约性的关系,并展示了其在动力系统中的应用与贡献。

Comments 58 pages, 1 figure

详情

展开后加载摘要…

URL PDF HTML 收藏