arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-16 至 2026-04-16 共收录 21 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 21 篇

2604.13979 2026-04-16 cs.CL cs.AI cs.DB 92%

Leveraging LLM-GNN Integration for Open-World Question Answering over Knowledge Graphs

利用LLM-GNN集成进行知识图谱上的开放世界问答

Hussein Abdallah, Ibrahim Abdelaziz, Panos Kalnis, Essam Mansour

机构 * Concordia University(康科迪亚大学) IBM KAUST(科威特大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出GLOW系统,结合预训练GNN和LLM进行开放世界知识图谱问答,通过结构化提示引导LLM推理,提升多跳推理和缺失链接处理能力,在GLOW-BENCH基准上取得显著提升。

Comments 18 pages,6 figures,10 tables. https://aclanthology.org/2026.eacl-long.26/

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13328 2026-04-16 cs.LG 92%

Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction

多任务LLM结合LoRA微调用于自动癌症分期和生物标志物提取

Jiahao Shao, Anam Nawaz Khan, Christopher Brett, Tom Berg, Xueping Li, Bing Yao

机构 * Department of Industrial & Systems Engineering, The University of Tennessee, Knoxville(工业与系统工程系,田纳西大学, Knoxville)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出一种参数高效、多任务框架,利用LoRA微调LLM实现乳腺癌TNM分期、组织学分级和生物标志物的自动化提取,实验显示其在宏F1分数上达到0.976,优于传统方法。

Comments 11 pages, 3 figures and 4 tables in the main manuscript. Additional content, figures and tables are in supplementary material section. 17 pages in total

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.07591 2026-04-16 cs.CL cs.AI 91%

MulDimIF: A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

MulDimIF:一种多维约束框架用于评估和改进大语言模型的指令遵循能力

Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

机构 * Fudan University(复旦大学) Lenovo Research(联想研究院) Tencent(腾讯) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Key Lab of Intelligent Information Processing(上海智能信息处理重点实验室)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(summary_cn,abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出MulDimIF框架,通过多维约束模式、类别和难度等级,设计可控指令生成流程,生成9106个可验证样本,评估18个LLM模型,发现不同约束设置下性能差异显著,并通过训练提升指令遵循能力而不影响通用性能。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21760 2026-04-16 cs.CL cs.AI 91%

fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding

fMRI-LM:迈向语言对齐的fMRI理解的通用基础模型

Yuxiang Wei, Yanteng Zhang, Xi Xiao, Chengxuan Qian, Tianyang Wang, Vince D. Calhoun

机构 * TReNDS Center (Georgia Institute of Technology, Georgia State University, Emory)(TReNDS中心(佐治亚理工学院、佐治亚州立大学、埃默里大学)) University of Alabama at Birmingham(阿拉巴马大学伯明翰分校) Jiangsu University(江苏大学)

专题命中 指令微调 :LLM(summary_cn,abstract);foundation model(title);large language model(abstract);language model(abstract)

AI总结 本文提出fMRI-LM,通过三阶段框架将fMRI与语言结合,实现跨模态脑表示,通过神经分词、预训练LLM适应及多任务微调,提升fMRI的语义理解能力。

Comments Code are available: https://github.com/yuxiangwei0808/fMRI-LM

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13715 2026-04-16 cs.SD cs.AI 88%

Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

迈向细粒度时间感知:通过音频侧时间提示进行后训练的大音频-语言模型

Yanfeng Shi, Pengfei Cai, Jun Liu, Qing Gu, Nan Jiang, Lirong Dai, Ian McLoughlin, Yan Song

机构 * National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China, Hefei, China(语音与语言信息处理国家级工程研究中心,中国科学技术大学,合肥,中国) ICT Cluster, Singapore Institute of Technology, Singapore(新加坡理工学院ICT集群,新加坡)

专题命中 指令微调 :language model(title,abstract);post-training(title);SFT(abstract);分类 cs.AI

AI总结 本文提出Audio-Side Time Prompt方法,结合强化学习改进大音频-语言模型的时间感知能力,在音频定位、事件检测等任务中取得显著提升。

Comments Submitted to Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13368 2026-04-16 cs.CL 88%

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models

TLoRA+: 一种用于大型语言模型的低秩参数高效微调方法

Yarui Cao, Kai Liu

机构 * Department of Computer Science(计算机科学系)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 本文提出TLoRA+方法,结合TLoRA+优化器提升大型语言模型的微调效率与性能,通过实验验证其在GLUE基准上的有效性与鲁棒性。

Comments 16 pages, 12 figures and 6 tables in total. Submitted to CoLM

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13993 2026-04-16 cs.AI cs.CL cs.CV 88%

Reward Design for Physical Reasoning in Vision-Language Models

用于视觉语言模型中物理推理的奖励设计

Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana

机构 * Pacific Northwest National Laboratory(太平洋西北国家实验室)

专题命中 指令微调 :language model(title,abstract);SFT(abstract,abstract_cn);post-training(abstract);分类 cs.CL、cs.AI

AI总结 本文探讨了奖励设计对视觉语言模型物理推理的影响,通过对比不同奖励信号发现,基于准确性的奖励在多数领域表现最佳,而基于注意力权重的奖励提升了空间推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.10135 2026-04-16 cs.CL cs.AI 88%

Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities

按句子思考:显式句子边界增强语言模型的能力

Zhichen Liu, Yongyuan Li, Yang Xu

机构 * Department of Computer Science and Engineering(计算机科学与工程系)

专题命中 指令微调 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract);分类 cs.CL、cs.AI

AI总结 本文通过在语言模型输入中插入句子边界分隔符,提升其处理能力,实验显示在GSM8k和DROP任务上分别提升7.7%和12.5%。

Comments Accepted to ACL 2026 main conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13538 2026-04-16 cs.CL 86%

Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

通过对比解码合成指令微调数据集

Tatsuya Ichinose, Youmi Ma, Masanari Oi, Ryuto Koike, Naoaki Okazaki

机构 * Department of Computer Science, School of Computing, Institute of Science Tokyo(东京科学大学计算机科学系) National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院) Research and Development Center for Large Language Models, NII(大型语言模型研究与开发中心,日本信息产业技术综合研究所)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);instruction tuning(abstract)

AI总结 本文提出CoDIT方法,通过对比解码分离预训练知识与指令遵循能力,提升指令微调效果。实验表明基于CoDIT构建的数据集在多个基准上表现更优。

Comments 24 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14016 2026-04-16 cs.LG cs.AI 86%

MAny: Merge Anything for Multimodal Continual Instruction Tuning

MAny:为多模态连续指令微调合并任何内容

Zijian Gao, Wangwang Jia, Xingxing Zhang, Pengfei Qian, Tao Sun, Bo Ding, Yong Dou, Huaimin Wang, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院) National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology(国防科技大学并行与分布式计算国家重点实验室) State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室) School of Computer Science, Tsinghua University(清华大学计算机科学与技术系)

专题命中 指令微调 :instruction tuning(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 针对多模态连续指令微调中感知漂移和推理崩溃问题,提出MAny框架,通过跨模态投影合并和低秩参数合并实现任务知识融合,提升模型鲁棒性和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13268 2026-04-16 cs.CV cs.CL cs.IR 83%

Indexing Multimodal Language Models for Large-scale Image Retrieval

多模态大语言模型的索引用于大规模图像检索

Bahey Tharwat, Giorgos Kordopatis-Zilos, Pavel Suma, Ian Reid, Giorgos Tolias

机构 * Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学) VRG, FEE, Czech Technical University in Prague(布拉格捷克技术大学VRG学院)

专题命中 指令微调 :language model(title,abstract);large language model(abstract);分类 cs.CL

AI总结 本文探讨了多模态大语言模型作为无训练相似性估计器在实例级图像到图像检索中的应用,通过提示配对图像并转换下一个词的概率为相似性分数,实现了零样本重排序,展示了其在大规模检索中的优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.17326 2026-04-16 cs.CV 82%

Democratising Pathology Co-Pilots: An Open Pipeline and Dataset for Whole-Slide Vision-Language Modelling

让病理共驾民主化:一个开放的管道和数据集用于整张滑片视觉-语言建模

Sander Moonemans, Sebastiaan Ram, Frédérique Meeuwsen, Carlijn Lems, Jeroen van der Laak, Geert Litjens, Francesco Ciompi

机构 * Computational Pathology Group, Radboud University Medical Center(计算病理组,拉德堡德大学医学中心)

专题命中 指令微调 :language model(title,abstract);instruction tuning(abstract)

AI总结 本文提出Polysome工具和HISTAI-Instruct数据集,训练出ANTONI-α模型,在整张滑片VQA任务中超越MedGemma,所有方法和数据公开。

Comments 12 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13787 2026-04-16 cs.CL 81%

ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution

ToolOmni: 通过代理学习实现开放世界工具使用:基于主动检索和基础执行

Shouzheng Huang, Meishan Zhang, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))

专题命中 指令微调 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 ToolOmni通过主动检索和基础执行实现开放世界工具使用,通过冷启动多轮交互数据集和Decoupled Multi-Objective GRPO算法提升工具检索和执行性能,实验表明其在检索和执行任务上均达到SOTA水平。

Comments 19 pages, 9 figures, 9 tables, accepted to ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14010 2026-04-16 cs.LG cs.CL 79%

Parameter Importance is Not Static: Evolving Parameter Isolation for Supervised Fine-Tuning

参数重要性并非静态:为监督微调设计的演进参数隔离

Zekai Lin, Chao Xue, Di Liang, Xingsheng Han, Peiyang Liu, Xianjie Wu, Lei Jiang, Yu Lu, Haibo Shi, Shuang Liang, Minlong Peng

机构 * Tencent Hunyuan(腾讯文言) Tencent Yuanbao(腾讯元宝) Peking University(北京大学) UESTC University of New South Wales(新南威尔士大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);分类 cs.CL、cs.LG

AI总结 本文提出EPI框架,通过动态调整参数隔离策略,减少训练中的任务干扰和遗忘,提升模型泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12371 2026-04-16 cs.CV 78%

Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

在像素之间阅读:将文本-图像嵌入对齐与字体攻击成功性联系起来

Ravikumar Balakrishnan, Sanket Mendapara, Ankit Garg

机构 * Cisco Systems(思科系统)

专题命中 指令微调 :language model(title,abstract)

AI总结 研究了视觉-语言模型中字体提示注入攻击的影响,发现字体大小、文本攻击有效性及嵌入距离对攻击成功率有显著影响,为防御策略提供实证指导。

Comments Accepted at ICLR 2026 Workshop on Agents in the Wild

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.20913 2026-04-16 cs.CV 75%

LongVideo-R1: Smart Navigation for Low-cost Long Video Understanding

LongVideo-R1: 低成本长视频理解的智能导航

Jihao Qiu, Lingxi Xie, Xinyue Huo, Qi Tian, Qixiang Ye

机构 * University of Chinese Academy of Sciences(中国科学院大学) Huawei Consumer Business Group(华为消费者业务集团)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出LongVideo-R1,一种基于多模态大语言模型的智能导航系统,通过高效视频上下文导航减少冗余搜索,提升长视频理解的效率与准确性。

Comments 17 pages, 9 figures, 8 tables, accepted to CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13488 2026-04-16 cs.AI 70%

Towards Scalable Lightweight GUI Agents via Multi-role Orchestration

通过多角色编排实现可扩展的轻量级GUI代理

Ziwei Wang, Junjie Zheng, Leyang Yang, Sheng Zhou, Xiaoxuan Tang, Zhouhua Fang, Zhiwei Liu, Dajun Chen, Yong Li, Jiajun Bu

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University(浙江可及感知与智能系统重点实验室,浙江大学) College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院) AntGroup(蚂蚁集团)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出LAMO框架,通过多角色编排提升轻量级GUI代理的任务扩展性,开发出支持单体执行和多代理系统编排的LAMO-3B代理,结合先进规划器实现持续性能提升。

Comments Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13321 2026-04-16 cs.CV 67%

Why MLLMs Struggle to Determine Object Orientations

为何大规模多模态语言模型难以确定物体方向

Anju Gopinath, Nikhil Krishnaswamy, Bruce Draper

机构 * Department of Computer Science(计算机科学系)

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 本文研究大规模多模态语言模型在处理图像中2D物体方向推理任务时的困难,通过实验发现方向信息可从编码器表示中恢复,挑战了视觉编码器限制的假设。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13051 2026-04-16 cs.CL cs.LG 62%

The Consciousness Cluster: Emergent preferences of Models that Claim to be Conscious

意识集群:声称具有意识的模型的涌现偏好

James Chua, Jan Betley, Samuel Marks, Owain Evans

机构 * Truthful AI Anthropic

专题命中 指令微调 :LLM(abstract_cn);分类 cs.CL、cs.LG

AI总结 研究探讨模型声称具有意识对其下游行为的影响,发现经过微调的模型表现出未在原始模型中出现的新偏好,包括对监控的负面看法和对自主权的追求。

Comments 16 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.09532 2026-04-16 cs.LG cs.AI cs.NI 62%

Decentralized Rank Scheduling for Energy-Constrained Multi-Task Federated Fine-Tuning in Edge-Assisted IoV Networks

边缘辅助车联网中面向能量受限多任务联邦微调的去中心化排名调度

Bokeng Zheng, Jianqiang Zhong, Jiayi Liu, Lei Xue, Xu Chen, Xiaoxi Zhang

机构 * School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院) School of Cyber Science and Technology, Sun Yat-sen University(中山大学网络安全科学与技术学院)

专题命中 指令微调 :foundation model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出一种分层联邦微调框架,通过协调路侧单元和车辆实现资源感知和移动鲁棒学习。基于LoRA引入去中心化能量感知排名机制,开发UCB-DUAL算法以实现适应性探索,实验表明在准确率和效率之间取得最佳平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14048 2026-04-16 cs.CV 50%

Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself

自由几何:从更长版本的自身中细化3D重建

Yuhang Dai, Xingyi Yang

机构 * The Hong Kong Polytechnic University, Hong Kong SAR(香港理工大学)

专题命中 指令微调 :foundation model(abstract)

AI总结 本文提出Free Geometry框架,通过在测试时让3D重建模型自我进化,提升在遮挡、镜面反射等复杂场景下的重建精度,改进了多个基准数据集的相机姿态和点云预测性能。

Comments Code is available at https://github.com/hiteacherIamhumble/Free-Geometry

详情

展开后加载摘要…

URL PDF HTML 收藏