arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-20 至 2026-04-20 共收录 26 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 26 篇

2601.05808 2026-04-20 cs.CL cs.AI cs.LG 93%

EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis

EnvScaler:通过程序合成实现LLM代理的可扩展工具交互环境

Xiaoshuai Song, Haofei Chang, Guanting Dong, Yutao Zhu, Ji-Rong Wen, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)

专题命中 指令微调 :LLM(title,title_cn);SFT(abstract,abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出EnvScaler框架,通过程序合成构建大量工具交互环境,用于LLM代理的监督微调和强化学习,提升其在复杂多轮多工具交互环境中的任务解决能力。

Comments Add some experiments

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16262 2026-04-20 cs.CL 92%

SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

SwanNLP 在 SemEval-2026 任务 5:一种基于 LLM 的叙事词义消歧可信度评分框架

Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe

机构 * Department of Computer Science, Swansea University(Swansea大学计算机科学系)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文提出基于 LLM 的框架,用于叙事文本中同义词消歧的可信度评分,通过结构化推理机制评估词义的可信度,实验表明动态少样本提示的大型参数 LLM 能有效模拟人类判断。

Comments 6 pages, 5 Tables, 1 figure, Accepted to SemEval 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.24672 2026-04-20 cs.CL 92%

TRIDENT: Enhancing Large Language Model Safety with Tri-Dimensional Diversified Red-Teaming Data Synthesis

TRIDENT:通过三维多样化红队数据合成增强大语言模型安全性

Xiaorui Wu, Xiaofeng Mao, Fei Li, Xin Zhang, Xuanhong Li, Chong Teng, Donghong Ji, Zhuang Li

机构 * Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University(航空信息安全与可信计算重点实验室,教育部,网络安全工程学院,武汉大学) Ant Group(蚂蚁集团) Ant International(蚂蚁国际) School of Computing Technologies, Royal Melbourne Institute of Technology(计算技术学院,皇家墨尔本理工学院)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);SFT(abstract,abstract_cn)

AI总结 TRIDENT通过三维分析框架和自动化流水线生成涵盖词汇多样性、恶意意图和突破战术的多样化数据,提升大语言模型安全性,实验显示在有害内容评分和攻击成功率上有显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.09689 2026-04-20 cs.CR cs.AI 92%

When Search Goes Wrong: Red-Teaming Web-Augmented Large Language Models

当搜索出错时:针对具有网络搜索功能的大型语言模型的红队测试

Haoran Ou, Kangjie Chen, Xingshuo Han, Gelei Deng, Jie Zhang, Han Qiu, Tianwei Zhang

机构 * Nanyang Technological University, Singapore(新加坡南洋理工大学) Nanjing University of Aeronautics(南京航空航天大学) Tsinghua University, China(清华大学)

专题命中 指令微调 :LLM(summary_cn,abstract);large language model(title,abstract);language model(title,abstract);分类 cs.AI

AI总结 本文提出CREST-Search框架,针对具有网络搜索功能的LLM的安全性问题,通过三种新型攻击策略和迭代上下文优化机制,揭示网络搜索带来的安全漏洞。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15589 2026-04-20 cs.CL cs.AI cs.LG 90%

LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance

跨不同微调策略和模型规模的大型语言模型可解释性分析用于自动化代码合规

Jack Wei Lun Shi, Minghao Dang, Wawan Solihin, Justin K. W. Yeoh

机构 * Department of Civil and Environmental Engineering, National University of Singapore(新加坡国立大学土木与环境工程系) School of Transportation Science and Engineering, Harbin Institute of Technology(哈尔滨工业大学交通运输科学与工程学院) Research and Innovation, NovaCITYNETS Pte.Ltd.(NovaCITYNETS Pte.Ltd.研究与创新部)

专题命中 指令微调 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过扰动分析比较不同微调策略和模型规模下LLM的可解释行为,发现全微调产生更聚焦的属性模式,且模型规模增大时,LLM发展出优先考虑数值约束和规则标识符的策略,但语义相似度在7B以上模型中趋于平稳。

Comments 8 pages, 9 figures. Accepted at ICCCBE 2026 (International Conference on Computing in Civil and Building Engineering)

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15388 2026-04-20 cs.AR cs.AI 90%

Exploring LLM-based Verilog Code Generation with Data-Efficient Fine-Tuning and Testbench Automation

探索基于LLM的Verilog代码生成:数据高效微调与测试平台自动化

Mu-Chi Chen, Po-Hsuan Huang, Yu-Hung Kao, Yen-Fu Liu, Yu-Kai Hung, Cheng Liang, Shao-Chun Ho, Chia-Heng Tu, Shih-Hao Hung

机构 * National Taiwan University(国立台湾大学) National Cheng Kung University(国立成功大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出利用多智能体模型生成高质量微调数据的测试平台,实现比现有方法更少训练数据下的Verilog生成性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16058 2026-04-20 cs.SE cs.CL 87%

LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

LLMSniffer:通过GraphCodeBERT和监督对比学习检测LLM生成的代码

Mahir Labib Dihan, Abir Muhtasim

机构 * Department of Computer Science and Engineering(计算机科学与工程系)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文提出LLMSniffer框架,通过GraphCodeBERT和监督对比学习检测AI生成代码,实验表明其在GPTSniffer和Whodunit数据集上准确率显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15484 2026-04-20 cs.IR 87%

vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents

vstash:基于自适应融合的本地优先混合检索LLM代理

Jayson Steffens

专题命中 指令微调 :LLM(title,title_cn)

AI总结 vstash通过自适应融合和自监督嵌入优化,提升LLM代理在多数据集上的检索性能,实现NDCG@10的显著提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15866 2026-04-20 cs.CL cs.AI cs.LG 86%

DiZiNER: Disagreement-guided Instruction Refinement via Pilot Annotation Simulation for Zero-shot Named Entity Recognition

DiZiNER:通过试点注释模拟的分歧引导指令细化用于零样本命名实体识别

Siun Kim, Hyung-Jin Yoon

机构 * Seltasquare Seoul, Korea(首尔韩国Seltasquare) Seoul National University College of Medicine(首尔国立大学医学院) Biomedical Research Institute, Seoul National University Hospital(首尔国立大学医院生物医学研究所)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 DiZiNER通过模拟试点注释过程,利用LLM作为标注者和监督者,通过多模型标注和分歧分析优化指令,实现零样本NER的SOTA结果,提升F1分数并缩小与监督系统差距。

Comments 9 pages, 3 figures; Accepted to the ACL 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15574 2026-04-20 cs.CL cs.AI cs.LG cs.NE 83%

Why Fine-Tuning Encourages Hallucinations and How to Fix It

为何微调会鼓励幻觉以及如何解决

Guy Kaplan, Zorik Gekhman, Zhen Zhu, Lotem Rozner, Yuval Reif, Swabha Swayamdipta, Derek Hoiem, Roy Schwartz

机构 * Hebrew University of Jerusalem(海法大学) University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Technion – Israel Institute of Technology(技术学院 – 以色列理工学院) University of Southern California(南加州大学)

专题命中 指令微调 :SFT(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨微调导致幻觉的原因,提出基于自蒸馏的微调方法以减少幻觉,通过抑制输出分布漂移提升事实学习效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12617 2026-04-20 cs.LG cs.AI 82%

SOAR: Self-Correction for Optimal Alignment and Refinement in Diffusion Models

SOAR:扩散模型中的自校正以实现最优对齐与细化

You Qin, Linqing Wang, Hao Fei, Roger Zimmermann, Liefeng Bo, Qinglin Lu, Chunyu Wang

机构 * Tencent Hunyuan(腾讯文汇)

专题命中 指令微调 :SFT(abstract,abstract_cn);pretraining(abstract);post-training(abstract);分类 cs.AI、cs.LG

AI总结 SOAR通过自校正方法改进扩散模型的对齐和细化,提升生成和OCR性能,同时兼容后续强化学习。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.27617 2026-04-20 cs.AI 81%

VeriMoA: A Mixture-of-Agents Framework for Spec-to-HDL Generation

VeriMoA:一种用于规格到HDL生成的代理混合框架

Heng Ping, Arijit Bhattacharjee, Peiyu Zhang, Shixuan Li, Wei Yang, Anzhe Cheng, Xiaole Zhang, Jesse Thomason, Ali Jannesari, Nesreen Ahmed, Paul Bogdan

机构 * Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 VeriMoA提出一种无需训练的代理混合框架,通过质量引导缓存机制和多路径生成策略,提升规格到HDL生成的准确性和多样性,实验表明在多个基准上性能提升15-30%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14174 2026-04-20 cs.CL cs.LG 81%

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

通过后Transformer适配器纠正语言模型中的压制对数概率

Bryan Sanchez

机构 * Apple MLX(苹果MLX)

专题命中 指令微调 :language model(title,abstract);分类 cs.CL、cs.LG

AI总结 研究通过后Transformer适配器纠正语言模型在敏感话题上的压制对数概率,展示适配器在不同规模模型上的泛化能力及生成一致性改进。

Comments 12 pages, 3 figures, code at https://github.com/SolomonB14D3/qwen-adapter-correction

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15380 2026-04-20 cond-mat.mtrl-sci cs.AI 79%

Exascale Multi-Task Graph Foundation Models for Imbalanced, Multi-Fidelity Atomistic Data

面向不均衡多保真原子数据的exascale多任务图基础模型

Massimiliano Lupo Pasini, Jong Youl Choi, Kshitij Mehta, Richard Messerly, Rylie Weaver, Linda Ungerboeck, Isaac Lyngaas, Benajmin Stump, Ashwin M. Aji, Karl W. Schulz, Jorda Polo

机构 * Engineering Division, Oak Ridge National Laboratory(橡树岭国家实验室工程部) Mathematics Division, Oak Ridge National Laboratory(橡树岭国家实验室数学部) National Center for Computational Sciences Division, Oak Ridge National Laboratory(橡树岭国家实验室国家计算科学中心部)

专题命中 指令微调 :foundation model(title,abstract);分类 cs.AI

AI总结 本文提出基于HydraGNN的exascale工作流,通过多任务架构和可扩展的数据管道,在16个开放首原理数据集上联合训练,实现百亿级原子结构筛选与跨领域任务迁移。

Comments 12 pages; 5 figures; 15 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.10635 2026-04-20 cs.CV 78%

ChatENV: An Interactive Vision-Language Model for Sensor-Guided Environmental Monitoring and Scenario Simulation

ChatENV: 一种用于传感器引导的环境监测和场景模拟的交互式视觉-语言模型

Hosam Elgendy, Ahmed Sharshar, Ahmed Aboeitta, Mohsen Guizani

机构 * Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学)

专题命中 指令微调 :language model(title,abstract)

AI总结 ChatENV通过整合卫星图像与真实传感器数据,实现环境变化的时序推理与假设验证,提升了环境监测的交互性和准确性。

Comments 11 pages, 5 figures, 7 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15703 2026-04-20 cs.CV 78%

P3T: Prototypical Point-level Prompt Tuning with Enhanced Generalization for 3D Vision-Language Models

P3T: 用于3D视觉-语言模型的增强泛化原型点级提示微调

Geunyoung Jung, Soohong Kim, Kyungwoo Song, Jiyoung Jung

机构 * Department of Artificial Intelligence, University of Seoul(首尔大学人工智能系) Department of Applied Statistics, Yonsei University(延世大学应用统计系)

专题命中 指令微调 :language model(title,abstract)

AI总结 本文提出P3T,一种针对3D视觉-语言模型的高效提示微调方法,通过点级提示器和文本提示器提升模型泛化能力,并引入原型损失减少类别内方差,实验表明其在分类和少样本学习中表现优异。

Comments Accepted by ICRA 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2402.03038 2026-04-20 cs.LG cs.AI cs.CL 75%

Automatic Combination of Sample Selection Strategies for Few-Shot Learning

少样本学习中样本选择策略的自动组合

Branislav Pecher, Ivan Srba, Maria Bielikova, Joaquin Vanschoren

机构 * Faculty of Information Technology, Brno University of Technology(布拉格技术学院,布拉格技术大学) Kempelen Institute of Intelligent Technologies(智能技术研究所) Eindhoven University of Technology(埃因霍温技术大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ACSESS方法,通过结合多种样本选择策略提升少样本学习性能,实验显示组合策略优于单一策略,且在小数据集上效果更佳。

Comments Accepted to the Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.04377 2026-04-20 cs.CL cs.AI cs.LG 75%

Disco-RAG: Discourse-Aware Retrieval-Augmented Generation

Disco-RAG: 语篇意识的检索增强生成

Dongqi Liu, Hang Ding, Qiming Feng, Xurong Xie, Zhucun Xue, Chengjie Wang, Jian Li, Jiangning Zhang, Yabiao Wang

机构 * Saarland University(萨尔兰大学) Shanghai Jiaotong University(上海交通大学) Fudan University(复旦大学) Zhejiang University(浙江大学) Tencent YouTu Lab(腾讯优图实验室)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 Discourse-aware RAG框架通过构建篇章内结构树和跨篇章修辞图,提升知识整合能力,在问答和长文档摘要任务中取得最佳效果。

Comments ACL 2026 Main & Long Conference Paper

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15351 2026-04-20 cs.LG cs.CL 73%

Aletheia: Gradient-Guided Layer Selection for Efficient LoRA Fine-Tuning Across Architectures

Aletheia:基于梯度的层选择用于跨架构高效LoRA微调

Abdulmalek Saket

机构 * Royal Fenice Kft / ALETHEIA PROTOCOL research(皇家芬伊克公司 / ALETHEIA协议研究)

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 Aletheia通过梯度探针识别任务相关层,采用不对称秩分配实现高效LoRA微调,实验显示在14种模型上提升训练速度15-28%,且下游表现保持良好。

Comments 11 pages, 5 figures, 2 frozen evidence campaigns, 81 experiment rows across 14 successful models and 8 architecture families, plus one documented failed Pythia/GPT-NeoX attempt

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16083 2026-04-20 cs.CV 71%

DINOv3 Beats Specialized Detectors: A Simple Foundation Model Baseline for Image Forensics

DINOv3超越专用检测器:一种简单的基础模型基准用于图像取证

Jieming Yu, Qiuxiao Feng, Zhuohan Wang, Xiaochen Ma

机构 * The Hong Kong University of Science and Technology(香港科学与技术大学) Harvard University(哈佛大学)

专题命中 指令微调 :foundation model(title)

AI总结 本文提出基于DINOv3的简单但强大的基础模型基准,通过LoRA适配和轻量卷积解码器,在四个标准基准上提升像素级F1得分17.0点,且在数据稀缺情况下表现优于现有方法。

Comments Technical report

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16037 2026-04-20 cs.CL 70%

Stochasticity in Tokenisation Improves Robustness

分词中的随机性提升了鲁棒性

Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

机构 * Institute of Signal Processing Speech Communication, Graz University of Technology, Graz, Austria ELLIS Institute Finland \& Aalto University, Espoo, Finland King AI Labs, Microsoft Gaming University of Oxford, Oxford, United Kingdom KTH Royal Institute of Technology, Stockholm, Sweden

专题命中 指令微调 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文研究了随机分词对对抗攻击和随机扰动鲁棒性的影响,发现预训练和微调时使用均匀采样随机分词可提升模型鲁棒性,且不增加推理成本。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14518 2026-04-20 cs.AI 70%

Mind DeepResearch Technical Report

Mind DeepResearch 技术报告

MindDR Team, Li Auto Inc

机构 * MindDR Team(MindDR团队) Li Auto Inc(Li Auto公司)

专题命中 指令微调 :SFT(abstract,abstract_cn);分类 cs.AI

AI总结 MindDR通过高效多智能体深度研究框架,在仅30B参数模型下实现领先性能,采用精心设计的数据合成和多阶段训练流程,其核心创新为三智能体架构及四阶段智能体专用训练流程,展现竞争力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16135 2026-04-20 cs.CV 67%

Motion-Adapter: A Diffusion Model Adapter for Text-to-Motion Generation of Compound Actions

Motion-Adapter:一种用于复合动作文本到运动生成的扩散模型适配器

Yue Jiang, Mingyu Yang, Liuyuxin Yang, Yang Xu, Bingxin Yun, Yuhe Zhang

机构 * School of Computer Science, Northwest University(西北大学计算机学院)

专题命中 指令微调 :large language model(abstract);language model(abstract)

AI总结 本文提出Motion-Adapter,通过计算解耦的交叉注意力图,解决文本到运动扩散模型中的时间信息处理和注意力崩溃问题,提升复合动作生成的准确性和连贯性。

Comments 12 pages, 12 figures, Under review for publication in IEEE Transactions on Visualization and Computer Graphics

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16067 2026-04-20 cs.LG cs.CV 57%

AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

AEGIS:锚定强化梯度隔离用于知识保留的视觉-语言-动作微调

Guransh Singh

机构 * Independent Researcher(独立研究者)

专题命中 指令微调 :language model(abstract);分类 cs.LG

AI总结 本文提出AEGIS方法,通过层间梯度投影保留预训练的视觉问答能力,避免因梯度不对称导致的性能下降,无需额外数据或缓冲区。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.12193 2026-04-20 cs.CV 50%

VeRVE: Versatile Retrieval for Videos via Unified Embeddings

VeRVE:通过统一嵌入实现视频的多功能检索

Shaunak Halbe, Bhagyashree Puranik, Jayakrishnan Unnikrishnan, Kushan Thakkar, Vimal Bhat, Toufiq Parag

机构 * Georgia Institute of Technology(佐治亚理工学院) Amazon(亚马逊) Keystone AI

专题命中 指令微调 :LLM(abstract)

AI总结 本文提出VeRVE框架,结合语义和时刻级检索能力,支持复杂多模态查询,通过对比对齐视觉和文本嵌入实现高效检索,优于其他多模态大语言模型方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15936 2026-04-20 cs.NI 50%

Federated Parameter-Efficient Adaptation for Interference Mitigation at the Wireless Edge

联邦参数高效适应用于无线边缘的干扰抑制

Evar Jones, Daniel J. Jakubisin, Sanmay Das

专题命中 指令微调 :foundation model(abstract)

AI总结 本文提出在无线边缘使用联邦学习与参数高效微调技术,通过在时序卷积神经网络中部署低秩适配器,实现干扰抑制。实验表明,Fed-LoRA在数据稀缺节点上表现优于本地适应,同时避免了全模型联邦学习下的灾难性退化。

Comments 11 pages

详情

展开后加载摘要…

URL PDF HTML 收藏