arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 11601 信号源:cs.CL, cs.AI, cs.LG

1. 指令微调 11601 篇

2605.27790 2026-05-28 cs.LG 84%

SYNAPSE: Neuro-Symbolic Visual Thought-to-Text Decoding via Topological Semantic Denoising

SYNAPSE: 通过拓扑语义去噪的神经符号视觉思维到文本解码

Akshaj Murhekar, Abhijit Mishra

机构 * School of Information University of Texas at Austin(信息学院德克萨斯大学奥斯汀分校)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 提出SYNAPSE框架,利用常识图结构和潜在样本进行推理时符号正则化,稳定脑电到文本解码中的语义生成,无需微调大语言模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26807 2026-05-27 cs.SE cs.AI 84%

HTMLCure: Turning Browser Experience into State Guided Repair for Interactive HTML

HTMLCure:将浏览器体验转化为面向交互式HTML的状态引导修复

Jiajun Wu, Jian Yang, Tuney Zheng, Wei Zhang, Haowen Wang, Yihang Lou, Xianglong Liu

机构 * Beihang University(北京航空航天大学) IQuest Research(IQuest研究院) Peking University(北京大学)

专题命中 指令微调 :SFT(summary_cn,abstract);LLM(abstract_cn);分类 cs.AI

AI总结 提出HTMLCure框架,通过浏览器交互执行、状态感知诊断和闭环修复引擎,从大规模HTML页面中筛选并修复可修复页面,显著提升SFT数据质量和模型性能。

Comments 27 pages, 11 figures. Code: https://github.com/wuyuVerse/HTMLCure

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.05864 2026-05-27 cs.CL cs.CY 84%

On the Sensitivity of Instruction-tuned LLMs to Harmful Sentences in Long Inputs

关于指令微调大语言模型对长输入中有害句子的敏感性

Faeze Ghorbanpour, Alexander Fraser

机构 * School of Computation, Information and Technology, TU Munich(计算、信息与技术学院,慕尼黑工业大学) Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 通过构建长输入并系统变化长度、有害比例、显隐性和位置,研究LLM对稀疏嵌入有害句子的敏感性,发现敏感性非单调、随长度下降、早期位置优先、显性危害更易识别。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.11758 2026-05-26 cs.CV cs.AI cs.GR cs.RO 84%

Generalizable Vision-Language Few-Shot Adaptation with Predictive Prompts and Negative Learning

具有预测性提示和负学习的可泛化视觉语言少样本适应

Sriram Mandalika

机构 * Hasso Plattner Institute, University of Potsdam(霍普夫纳研究所,波茨坦大学)

专题命中 指令微调 :LLM(summary_cn,abstract);language model(abstract);分类 cs.AI

AI总结 提出SCAN框架,通过查询自适应负路由、LLM引导对比提示和自适应融合权重,解决视觉语言模型少样本适应中负类信号处理问题,在11个基准上平均提升4.61%。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.16714 2026-05-19 cs.AI cs.CR 84%

GRID: Graph Representation of Intelligence Data for Security Text Knowledge Graph Construction

GRID:用于安全文本知识图谱构建的智能数据图表示

Liangyi Huang, Zichen Liu, Fei Shao, Shang Ma, Mengshi Zhang, Zihao Chen, Yanfang Ye, Xusheng Xiao

机构 * Arizona State University(亚利桑那州立大学) Case Western Reserve University(凯斯西储大学) University of Notre Dame(诺丁汉大学) TensorBlock Facebook(脸书)

专题命中 指令微调 :LLM(abstract,abstract_cn);SFT(abstract,abstract_cn);post-training(abstract);分类 cs.AI

AI总结 本文提出GRID框架,通过构建可追溯的文章-图对齐,将文档到图学习转化为剧本任务库,提升安全知识图谱构建的稳定性和效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.05297 2026-05-18 cs.SE cs.LG 84%

Building Specialized Software-Assistant ChatBot with Graph-Based Retrieval-Augmented Generation

构建基于图的检索增强生成专用软件助手聊天机器人

Mohammed Hilel, Yannis Karmim, Jean De Bodinat, Reda Sarehane, Antoine Gillon

机构 * RAKAM AI Lemon Learning

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出基于图的检索增强生成框架,将企业Web应用转换为状态-动作知识图,使LLM生成基于上下文的可靠帮助,通过与RAKAM和Lemon Learning的合作,展示了工程流程、图检索设计及生产DAP工作流整合。

Comments Accepted at ICMLC 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11974 2026-05-13 cs.LG 84%

Towards Order Fairness: Mitigating LLMs Order Sensitivity through Dual Group Advantage Optimization

迈向顺序公平性:通过双组优势优化缓解大语言模型的顺序敏感性

Xu Chu, Guanyu Wang, Zhijie Tan, Xinrong Chen, Ziyu Li, Tong Mo, Weiping Li

机构 * School of Software and Microelectronics, Peking University(软件与微电子学院,北京大学)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出双组优势优化(DGAO),通过平衡组内准确性优势和组间稳定性优势,缓解LLM的顺序敏感性,提升模型在RAG、数学推理和分类任务中的性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.11857 2026-05-13 cs.LG 84%

Beyond Parameter Aggregation: Semantic Consensus for Federated Fine-Tuning of LLMs

超越参数聚合:联邦微调大语言模型的语义共识

Amr Abourayya, Jens Kleesiek, Michael Kamp

机构 * Lamarr Institute for ML and AI, Technical University Dortmund(拉马尔机器学习与人工智能研究所,德意志理工大学) Institute for AI in medicine (IKIM), University Hospital Essen(医学人工智能研究所(IKIM),埃森大学医院)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);foundation model(abstract)

AI总结 本文提出通过模型行为而非参数进行联邦微调,减少通信开销,适用于异构架构和开放文本生成,理论和实验证明其在效率和效果上的优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11121 2026-05-11 cs.CL 84%

BITS Pilani at SemEval-2026 Task 9: Structured Supervised Fine-Tuning with DPO Refinement for Polarization Detection

BITS Pilani 在 SemEval-2026 任务 9:基于 DPO 细调的结构化监督微调用于极化检测

Atharva Gupta, Dhruv Kumar, Yash Sinha

机构 * Birla Institute of Technology and Science, Pilani, India(比拉理工学院和科学学院,瓦拉纳西,印度)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);preference optimization(abstract)

AI总结 本文提出结合结构化监督微调与 DPO 细调的方法,用于社交媒体文本中的极化检测,通过 LoRA 微调 Qwen 2.5-7B-Instruct 并利用自动偏好对减少误判,最终在英文测试集上达到 0.7664 的 Macro-F1 分数。

Comments Accepted to the 20th International Workshop on Semantic Evaluation (SemEval-2026), to be held in conjunction with ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.08923 2026-05-11 cs.CL 84%

NCL-BU at SemEval-2026 Task 3: Fine-tuning XLM-RoBERTa for Multilingual Dimensional Sentiment Regression

NCL-BU 在 SemEval-2026 任务 3: 基于 XLM-RoBERTa 的多语言维度情感回归微调

Tong Wu, Nicolay Rusnachenko, Huizhi Liang

机构 * Independent Researcher(独立研究者) Centre for Applied Creative Technologies (CFACT+), Bournemouth University, UK(应用创意技术中心(CFACT+),伯恩茅斯大学,英国) School of Computing, Newcastle University, Newcastle upon Tyne, UK(计算学院,新castle大学,新castle upon Tyne,英国)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文提出基于 XLM-RoBERTa 的微调方法,用于多语言维度情感回归任务,通过双回归头预测情感值和唤醒度,跨领域和语言进行训练,实验显示任务特定微调优于其他大语言模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08256 2026-05-11 cs.CL 84%

NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating

NCL-UoR在SemEval-2026任务5中的表现:基于嵌入的方法、微调与大语言模型用于词义可plausibility评分

Tong Wu, Thanet Markchom, Huizhi Liang

机构 * Independent Researcher(独立研究者) Department of Computer Science, University of Reading(阅读大学计算机科学系) School of Computing, Newcastle University(新castle大学计算学院)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文比较了三种方法:基于嵌入的方法、Transformer微调和大语言模型提示,发现结构化提示优于微调和嵌入方法,提示设计比模型规模更重要。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.00236 2026-05-04 cs.CR cs.AI 84%

Attention Is Where You Attack

注意力是攻击之处

Aviral Srivastava, Sourav Panda

机构 * Amazon(亚马逊) The Pennsylvania State University(宾夕法尼亚州立大学)

专题命中 指令微调 :RLHF(abstract,abstract_cn);large language model(abstract);language model(abstract);instruction tuning(abstract)

AI总结 本文提出注意力重分布攻击(ARA),通过Gumbel-softmax优化在概率单纯形上攻击softmax注意力,成功绕过安全对齐,实现高准确率的恶意请求执行。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.10960 2026-04-23 cs.AI 84%

RAG-KT: Cross-platform Explainable Knowledge Tracing with Multi-view Fusion Retrieval Generation

RAG-KT: 跨平台可解释知识追踪的多视图融合检索生成

Zhiyi Duan, Hongyu Yuan, Rui Liu

机构 * Inner Mongolia University(内蒙古大学)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 RAG-KT通过多视图融合检索生成技术,解决传统知识追踪模型在跨平台迁移和解释性上的不足,提升准确性和鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.24635 2026-04-21 cs.SE cs.AI 84%

DynaFix: Iterative Automated Program Repair Driven by Execution-Level Dynamic Information

DynaFix:基于执行级动态信息的迭代自动程序修复

Zhili Huang, Ling Xu, Chao Liu, Weifeng Sun, Xu Zhang, Yan Lei, Meng Yan, Hongyu Zhang

机构 * Chongqing University(重庆大学)

专题命中 指令微调 :LLM(summary_cn,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 DynaFix通过迭代利用运行时动态信息改进程序修复,利用变量状态、控制流路径和调用栈等结构化提示引导LLM生成候选补丁,有效提升修复效率和准确性。

Comments 30 pages, 11 figures, preprint version

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.12479 2026-04-15 cs.CL 84%

Meet Dynamic Individual Preferences: Resolving Conflicting Human Value with Paired Fine-Tuning

面对动态个体偏好:通过配对微调解决冲突的人类价值观

Shanyong Wang, Shuhang Lin, Yining Zhao, Xi Zhu, Yongfeng Zhang

机构 * Rutgers University—New Brunswick(罗杰斯大学—新布伦斯维克分校) University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)

专题命中 指令微调 :SFT(abstract,abstract_cn);LLM(abstract_cn);large language model(abstract);language model(abstract)

AI总结 本文提出Preference-Paired Fine-Tuning框架,通过Value Conflict Dilemma数据集解决动态个体偏好冲突问题,实验显示其在多选分类和开放生成任务中表现优异,优于传统方法。

Comments 20 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.21577 2026-03-24 cs.AI 84%

Mind over Space: Can Multimodal Large Language Models Mentally Navigate?

心灵超越空间:多模态大语言模型能否进行心理导航?

Qihui Zhu, Shouwei Ruan, Xiao Yang, Hao Jiang, Yao Huang, Shiji Zhao, Hanwei Fan, Hang Su, Xingxing Wei

机构 * Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院) Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua-Bosch Joint ML Center, THBI Lab, BNRist Center, Tsinghua University(清华大学-博世联合机器学习中心、THBI实验室、BNRist中心、清华大学计算机科学与技术系) School of Automation Science and Electrical Engineering , Beihang University(北京航空航天大学自动化科学与电气工程学院) college of AI, Tsinghua University(清华大学人工智能学院) Department of Computer Science and Technology , Tsinghua University(清华大学计算机科学与技术系)

专题命中 指令微调 :large language model(title);language model(title);分类 cs.AI

AI总结 本文提出Video2Mental基准测试,评估多模态大语言模型的空间导航能力,发现标准预训练模型无法自然生成空间表示,NavMind通过显式认知地图提升导航性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.19111 2026-02-24 cs.CL 84%

Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models

Astra: 大语言模型激活空间尾特征值低秩适应

Kainan Liu, Yong Zhang, Ning Cheng, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao

机构 * Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)

专题命中 指令微调 :large language model(title);language model(title);分类 cs.CL

AI总结 Astra通过利用模型输出激活的尾特征向量构建低秩适配器,实现了更高效的参数高效微调,提升了下游任务性能。

Comments 22 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2412.17052 2026-02-24 cs.AI 84%

ViLBias: Detecting and Reasoning about Bias in Multimodal Content

ViLBias:检测和推理解多模态内容中的偏见

Shaina Raza, Caesar Saleh, Azib Farooq, Emrul Hasan, Franklin Ogidi, Haad Zahid, Maximus Powers, Marcelo Lotif, Anam Zahid, Karanpal Sekhon, Veronica Chatrath, Roya Javedi, Vahid Reza Khazaie, Zhenyu Yu

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);small language model(abstract)

AI总结 ViLBias通过多模态基准检测新闻中的偏见,利用LLM和VLMs提升推理准确率和忠实度,参数高效方法能恢复大部分微调性能。

Comments Under review

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.22914 2026-02-18 cs.CV cs.LG 84%

cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

cadrille: 多模态CAD重建与强化学习

Maksim Kolodiazhnyi, Denis Tarasov, Dmitrii Zhemchuzhnikov, Alexander Nikulin, Ilya Zisman, Anna Vorontsova, Anton Konushin, Vladislav Kurenkov, Danila Rukhovich

机构 * Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学) AXXX ETH Zurich(苏黎世联邦理工学院) Innopolis University(因诺波利斯大学) Institute of Mechanics, Armenia(亚美尼亚力学研究所)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 cadrille通过强化学习实现多模态CAD重建,首次在CAD任务中应用RL微调,提升重建性能并设定新基准。

Comments ICLR 2026 (Oral)

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.23873 2026-02-04 cs.CL 84%

Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning

赢得剪枝赌局:一种联合样本和token剪枝的统一方法用于高效监督微调

Shaobo Wang, Jiaming Wang, Jiajun Zhang, Cong Wang, Yue Min, Zichen Wen, Xingzhang Ren, Fei Huang, Huiqiang Jiang, Junyang Lin, Dayiheng Liu, Linfeng Zhang

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 Q-Tuning通过联合样本和token剪枝,提升LLM监督微调效率,在SmolLM2-1.7B上实现38%的性能提升。

Comments 26 pages, 9 figures, 15 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.00954 2026-02-03 cs.AI 84%

Small-Margin Preferences Still Matter-If You Train Them Right

小边距偏好依然重要-如果你训练得当的话

Jinlong Pang, Zhaowei Zhu, Na Di, Yichi Zhang, Yaxuan Wang, Chen Qian, Yang Liu

机构 * University of California, Santa Cruz(加州大学圣克鲁兹分校) Northeastern University(东北大学) DIMACS, Rutgers University(Rutgers大学DIMACS研究中心)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);SFT(abstract)

AI总结 本文提出MixDPO,一种基于难度的训练策略,通过课程学习和混合目标优化,提升LLM在模糊配对上的对齐效果。

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.12126 2026-01-21 cs.AI 84%

UniMo: Unified Motion Generation and Understanding with Chain of Thought

UniMo: 基于推理链的统一运动生成与理解

Guocun Wang, Kenkun Liu, Jing Lin, Guorui Song, Jian Li, Xiaoguang Han

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 UniMo通过整合运动-语言信息和可解释的推理链,提升3D人体运动生成与理解的性能和可解释性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.10686 2025-11-17 cs.CL 84%

A methodological analysis of prompt perturbations and their effect on attack success rates

Tiago Machado, Maysa Malfiza Garcia de Macedo, Rogerio Abreu de Paula, Marcelo Carpinette Grave, Aminat Adebiyi, Luan Soares de Souza, Enrico Santarelli, Claudio Pinhanez

专题命中 指令微调 :large language model(abstract);language model(abstract);SFT(abstract);RLHF(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08191 2025-10-10 cs.CL 84%

Training-Free Group Relative Policy Optimization

Yuzheng Cai, Siqi Cai, Yuchen Shi, Zihan Xu, Lichao Chen, Yulei Qin, Xiaoyu Tan, Gang Li, Zongyi Li, Haojia Lin, Yong Mao, Ke Li, Xing Sun

机构 * Tencent(腾讯)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);SFT(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.04454 2025-10-07 cs.CL 84%

Mitigating Forgetting Between Supervised and Reinforcement Learning Yields Stronger Reasoners

Xiangchi Yuan, Xiang Chen, Tong Yu, Dachuan Shi, Can Jin, Wenke Lee, Saayan Mitra

机构 * Georgia Institute of Technology(佐治亚理工学院) Adobe Research(Adobe研究) Rutgers University(罗格斯大学)

专题命中 指令微调 :large language model(abstract);language model(abstract);post-training(abstract);SFT(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24361 2025-10-01 cs.CV cs.AI cs.HC 84%

UI-UG: A Unified MLLM for UI Understanding and Generation

Hao Yang, Weijie Qiu, Ru Zhang, Zhou Fang, Ruichao Mao, Xiaoyu Lin, Maji Huang, Zhaosong Huang, Teng Guo, Shuoyang Liu, Hai Rao

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);SFT(abstract)

详情

展开后加载摘要…

URL PDF HTML 收藏
2504.08590 2025-09-25 cs.CL 84%

Playpen: An Environment for Exploring Learning Through Conversational Interaction

Nicola Horst, Davide Mazzaccara, Antonia Schmidt, Michael Sullivan, Filippo Momentè, Luca Franceschetti, Philipp Sadler, Sherzod Hakimov, Alberto Testoni, Raffaella Bernardi, Raquel Fernández, Alexander Koller, Oliver Lemon, David Schlangen, Mario Giulianelli, Alessandro Suglia

机构 * University of Potsdam(波恩大学) University of Trento(特伦特大学) Saarland University(萨尔大学) ETH Zurich(苏黎世联邦理工学院) Amsterdam UMC(阿姆斯特丹医疗中心) Free University of Bozen Bolzano(博兹纳自由大学) University of Amsterdam(阿姆斯特丹大学) Heriot-Watt University(赫里奥特-瓦特大学) DFKI(德意志联邦研究所) UCL(伦敦大学学院) University of Edinburgh(爱丁堡大学)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);post-training(abstract)

Comments Accepted at EMNLP 2025 (Main) Source code: https://github.com/lm-playpen/playpen Please send correspodence to: lm-playschool@googlegroups.com

详情

展开后加载摘要…

URL PDF HTML 收藏
2507.15714 2025-08-19 cs.CL 84%

Chinchunmei at SemEval-2025 Task 11: Boosting the Large Language Model's Capability of Emotion Perception using Contrastive Learning

Tian Li, Yujian Sun, Huizhi Liang

机构 * School of Computing, Newcastle University(计算学院,新卡斯尔大学) Shumei AI Research Institute(舒美人工智能研究院)

专题命中 指令微调 :large language model(title);language model(title);分类 cs.CL

Journal ref Association for Computational Linguistics, Proceedings of the 19th International Workshop on Semantic Evaluation (SemEval-2025), 319-330

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.05794 2025-08-11 cs.CL 84%

Structural Perturbation in Large Language Model Representations through Recursive Symbolic Regeneration

Kathlyn Eaglewood, Tobias Featherington, Dorian Mayfair, Sylvester Grimshaw, James Pettigrew

专题命中 指令微调 :large language model(title);language model(title);分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.01979 2025-08-11 cs.CL 84%

Gradient-Regularized Latent Space Modulation in Large Language Models for Structured Contextual Synthesis

Derek Yotheringhay, Beatrix Nightingale, Maximilian Featherstone, Edmund Worthington, Hugo Ashdown

专题命中 指令微调 :large language model(title);language model(title);分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

详情

展开后加载摘要…

URL PDF HTML 收藏