arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-03 至 2026-04-03 共收录 18 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 18 篇

2604.01762 2026-04-03 cs.LG cs.AI cs.CL cs.DC 90%

FourierMoE: Fourier Mixture-of-Experts Adaptation of Large Language Models

FourierMoE:大型语言模型的傅里叶混合专家适应

Juyong Jiang, Fan Wang, Hong Qi, Sunghun Kim, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出傅里叶MoE,通过频域分析提升大语言模型在多任务适应中的性能,采用频域适应方法减少参数开销,实验证明其在单任务和多任务场景中均优于基线方法。

Comments The first two authors contributed equally to this work; listing order is random

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02194 2026-04-03 cs.CL cs.AI 90%

Neuro-RIT: Neuron-Guided Instruction Tuning for Robust Retrieval-Augmented Language Model

Neuro-RIT: 用于鲁棒检索增强语言模型的神经引导指令微调

Jaemin Kim, Jae O Lee, Sumyeong Ahn, Seo Yeon Park

机构 * Hanyang University(汉阳大学)

专题命中 指令微调 :language model(title,abstract);instruction tuning(title,abstract);large language model(abstract);分类 cs.CL、cs.AI

AI总结 Neuro-RIT通过神经层面的对齐提升检索增强语言模型的鲁棒性,通过神经属性挖掘分离相关与无关上下文的神经元,并采用两阶段指令微调策略增强噪声鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.14285 2026-04-03 cs.LG cs.AI stat.ML 88%

Meta-Learning at Scale for Large Language Models via Low-Rank Amortized Bayesian Meta-Learning

通过低秩放大贝叶斯元学习实现大规模语言模型的规模化元学习

Liyi Zhang, Jake Snell, Thomas L. Griffiths

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出ABMLL方法,通过低秩放大贝叶斯元学习实现大规模语言模型对多分布的适应,提升跨数据集泛化能力,并在CrossFit和Unified-QA数据集上优于现有方法。

Comments 17 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01379 2026-04-03 cs.SI cs.AI 85%

Can LLMs Predict Academic Collaboration? Topology Heuristics vs. LLM-Based Link Prediction on Real Co-authorship Networks

大语言模型能预测学术合作吗?拓扑启发式方法与基于LLM的链接预测在真实合著网络中的比较

Fan Huang, Munjung Kim

专题命中 指令微调 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文研究了大语言模型能否通过作者资料预测未来学术合作,发现LLM与拓扑启发式方法捕捉不同信号,在互补场景中表现最佳,且在不平衡数据中表现优异。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.13651 2026-04-03 cs.CL cs.AI cs.IR 85%

Benchmarking Large Language Models on Reference Extraction and Parsing in the Social Sciences and Humanities

在社会科学和人文领域上对大型语言模型进行参考提取与解析的基准测试

Yurui Zhu, Giovanni Colavizza, Matteo Romanello

机构 * Odoma LLC

专题命中 指令微调 :large language model(title);language model(title);分类 cs.CL、cs.AI

AI总结 本文提出一个统一基准,针对社会科学和人文领域的真实条件,评估参考提取、参考解析和端到端文档解析任务,发现解析和端到端解析是主要瓶颈,LoRA微调和分段管道能提升鲁棒性。

Comments 12 pages, 2 figures. Accepted at the SCOLIA 2026 Workshop (Second Workshop on Scholarly Information Access), co-located with ECIR 2026. Workshop date: April 2, 2026

Journal ref Proceedings of the Second International Workshop on Scholarly Information Access (SCOLIA 2026), co-located with ECIR 2026, Delft, The Netherlands, April 2, 2026. CEUR Workshop Proceedings, Vol. 4187, pp. 16-30

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01787 2026-04-03 cs.CL 81%

DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment

DEFT:基于分布的高效微调以实现人类对齐

Liang Zhu, Feiteng Fang, Yuelin Bai, Longze Chen, Zhexiang Zhang, Minghuan Tan, Min Yang

机构 * Southern University of Science and Technology(南方科技大学) Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院) University of Science and Technology of China(中国科学技术大学) University of Copenhagen(哥本哈根大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);RLHF(abstract)

AI总结 本文提出DEFT框架,通过数据过滤和分布引导提升模型对齐效率与泛化能力,减少训练时间。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02009 2026-04-03 cs.CV 78%

Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

通过自监督ViT特征和单目基础模型实现高度补全的测试时适应

Osher Rafaeli, Tal Svoray, Ariel Nahlieli

机构 * Ben-Gurion University of the Negev(内盖夫本-古里安大学)

专题命中 指令微调 :foundation model(title,abstract)

AI总结 本文提出Prior2DSM方法,利用自监督ViT特征和单目深度基础模型,在测试时完成高度补全,通过语义特征空间对应传播度量信息,提升重建精度并减少误差。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01600 2026-04-03 cs.AI 77%

MM-ReCoder: Advancing Chart-to-Code Generation with Reinforcement Learning and Self-Correction

MM-ReCoder:通过强化学习和自我校正推进图表到代码生成

Zitian Tang, Xu Zhang, Jianbo Yuan, Yang Zou, Varad Gunjal, Songyao Jiang, Davide Modolo

机构 * Brown University(布朗大学) Amazon AGI(亚马逊AGI)

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);分类 cs.AI

AI总结 MM-ReCoder通过强化学习和自我校正机制提升图表到代码生成能力,其两阶段多轮自我校正策略基于Group Relative Policy Optimization,提升代码准确性和可执行性。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01576 2026-04-03 cs.LG 77%

Care-Conditioned Neuromodulation for Autonomy-Preserving Supportive Dialogue Agents

关怀条件神经调节用于自主性保留的支持性对话代理

Shalima Binta Manir, Tim Oates

机构 * University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)

专题命中 指令微调 :large language model(abstract);language model(abstract);preference optimization(abstract);分类 cs.LG

AI总结 本文提出Care-Conditioned Neuromodulation方法,通过状态依赖控制框架提升对话代理在支持性任务中的自主性保留能力,实验表明其在多轮对话中有效提升自主性支持与帮助性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01694 2026-04-03 cs.LG cs.AI cs.CL 75%

MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning

MiCA 学习比 LoRA 和全微调更多知识

Sten Rüdiger, Sebastian Raschka

机构 * Independent Researcher(独立研究员) RAIR Lab(RAIR实验室)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 MiCA 通过适应模型表示中未充分利用的子空间,在优化训练超参数下实现知识获取提升5.9倍,参数足迹比 LoRA 小6-60%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.13855 2026-04-03 cs.CV cs.AI 74%

Improvise, Adapt, Overcome -- Telescopic Adapters for Efficient Fine-tuning of Vision Language Models in Medical Imaging

即兴、适应、克服——用于医疗影像中视觉语言模型高效微调的望远镜适配器

Ujjwal Mishra, Vinita Shukla, Praful Hambarde, Amit Shukla

机构 * Centre for Artificial Intelligence and Robotics, Indian Institute of Technology Mandi(印度理工学院曼迪分校人工智能与机器人中心)

专题命中 指令微调 :language model(title);分类 cs.AI

AI总结 本文提出望远镜适配器,通过深度感知缩放提升视觉语言分割模型在医疗影像中的微调效率,仅用613k参数在五个数据集上取得优异性能。

Comments Accepted at the IEEE/CVF winter conference on applications of computer vision (WACV 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01268 2026-04-03 cs.CL cs.AI 73%

The Overlooked Repetitive Lengthening Form in Sentiment Analysis

情感分析中被忽视的重复延长形式

Lei Wang, Eduard Dragut

机构 * Temple University(天普大学)

专题命中 指令微调 :language model(abstract);instruction tuning(abstract);分类 cs.CL、cs.AI

AI总结 本文探讨了重复延长形式(RLF)在情感分析中的重要性及语言模型的理解能力,构建了首个多领域RLF数据集并提出ExpInstruct框架,验证了RLF在文档级情感分析中的潜力。

Comments Findings of EMNLP 2024

Journal ref EMNLP 2024

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04823 2026-04-03 cs.AI cs.CL 73%

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models

DR-LoRA:动态秩LoRA用于混合专家模型的微调

Guanzhi Deng, Bo Li, Ronghao Chen, Xiujin Liu, Zhuo Han, Huacan Wang, Lijie Wen, Linqi Song

机构 * City University of Hong Kong(香港城市大学) Tsinghua University(清华大学) Peking University(北京大学) University of Michigan(密歇根大学) University of Chinese Academy of Sciences(中国科学院大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 DR-LoRA通过动态分配不同秩的LoRA模块,提升混合专家模型微调效果,实验表明其优于传统方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01837 2026-04-03 cs.CL 70%

PLOT: Enhancing Preference Learning via Optimal Transport

PLOT:通过最优传输增强偏好学习

Liang Zhu, Yuelin Bai, Xiankun Ren, Jiaxi Yang, Lei Zhang, Feiteng Fang, Hamid Alinejad-Rokny, Minghuan Tan, Min Yang

机构 * Southern University of Science and Technology(南方科技大学) Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院) Chongqing University(重庆大学) University of New South Wales(新南威尔士大学) University of Science and Technology of China(中国科学技术大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 PLOT通过最优传输理论提升大语言模型的偏好学习,解决性能、计算成本和全局关系建模问题,实验显示其在人类价值观和逻辑问题解决方面均提升对齐性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01682 2026-04-03 cs.CL 57%

PRISM: Probability Reallocation with In-Span Masking for Knowledge-Sensitive Alignment

PRISM:基于知识敏感对齐的概率重分配与跨句屏蔽

Chenning Xu, Mao Zheng, Mingyang Song

机构 * Large Language Model Department, Tencent, China(腾讯大语言模型部门,中国)

专题命中 指令微调 :SFT(abstract);分类 cs.CL

AI总结 PRISM通过引入事实性风险标签和跨句依赖标注,改进监督微调以减少事实性错误。该方法通过概率重分配和模型感知门控,在关键事实位置调整学习,提升事实性指标同时保持能力平衡。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01496 2026-04-03 cs.SE cs.CL 57%

From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents

从SWE-ZERO到SWE-HERO:从无执行到基于执行的微调方法用于软件工程代理

Nikolai Ludwig, Wasi Uddin Ahmad, Somshubra Majumdar, Boris Ginsburg

机构 * NVIDIA(英伟达)

专题命中 指令微调 :SFT(abstract);分类 cs.CL

AI总结 本文提出一种两阶段SFT方法,通过知识蒸馏实现SWE-bench的最佳性能,通过进化精炼策略提升代码语义和工程流程。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.10853 2026-04-03 cs.AI cs.HC 57%

Advanced Assistance for Traffic Crash Analysis: An AI-Driven Multi-Agent Approach to Pre-Crash Reconstruction

交通碰撞分析的高级辅助:一种基于AI的多智能体方法用于碰撞前重建

Gerui Xu, Boyou Chen, Huizhong Guo, Dave LeBlanc, Arpan Kusari, Efe Yarbasi, Ananna Ahmed, Zhaonan Sun, Shan Bao

机构 * Industrial and Manufacturing Systems Engineering Department, University of Michigan-Dearborn(密歇根大学迪尔伯恩分校工业与制造系统工程系) University of Michigan Transportation Research Institute(密歇根大学交通研究所) Toyota Motor Engineering & Manufacturing North America, Inc.(丰田汽车工程与制造北美公司)

专题命中 指令微调 :language model(abstract);分类 cs.AI

AI总结 本文提出了一种基于AI的多智能体框架,通过多模态输入生成碰撞前场景重建,并结合事件数据记录器信号识别碰撞车辆,验证了该框架在碰撞前行为推断中的高准确率。

Comments 36 pages, 14 figures

Journal ref SAE International Journal of Transportation Safety, 14(1), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.02020 2026-04-03 cs.CV 50%

Are VLMs Lost Between Sky and Space? LinkS$^2$Bench for UAV-Satellite Dynamic Cross-View Spatial Intelligence

VLMs在天空与空间之间迷失了吗?LinkS$^2$Bench用于无人机-卫星动态跨视角空间智能

Dian Liu, Jie Feng, Di Li, Yuhui Zheng, Guanbin Li, Weisheng Dong, Guangming Shi

机构 * Xidian University(西安电子科技大学) Qinghai Normal University(青海师范大学) Sun Yat-sen University(中山大学)

专题命中 指令微调 :language model(abstract)

AI总结 本文提出LinkS$^2$Bench,首个评估VLMs跨视角空间智能的综合基准,通过动态无人机视频与高分辨率卫星图像构建17.9k高质量问题-答案对,揭示VLMs在动态跨视角对齐中的性能瓶颈,并提出跨视角对齐适配器提升模型表现。

详情

展开后加载摘要…

URL PDF HTML 收藏