arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-04-16 至 2026-04-16 共收录 267 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 18 篇

2503.22760 2026-04-16 cs.CR cs.LG cs.PL 92%

Malicious and Unintentional Disclosure Risks in Large Language Models for Code Generation

大型语言模型在代码生成中的恶意与非故意披露风险

Rafiqul Rabin, Sean McGregor, Nick Judd

机构 * Digital Safety Research Institute(数字安全研究研究院) UL Research Institutes(UL研究机构)

专题命中 预训练与数据 :language model(title,summary_cn);large language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.LG

AI总结 本文研究了大型语言模型在代码生成训练中可能泄露训练数据中的敏感信息的风险,分析了非故意和恶意披露两种风险,并通过Open Language Model模型评估了不同数据集和模型版本的风险变化。

Comments The 3rd International Workshop on Mining Software Repositories Applications for Privacy and Security (MSR4P&S), co-located with SANER 2025

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13777 2026-04-16 cs.CL cs.AI 91%

From Anchors to Supervision: Memory-Graph Guided Corpus-Free Unlearning for Large Language Models

从锚点到监督:基于记忆图的无语料去学习框架

Wenxuan Li, Zhenfei Zhang, Mi Zhang, Geng Hong, Mi Wen, Xiaoyu You, Min Yang

机构 * College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院) Shanghai University of Electric Power(上海电力大学) School of Information Science and Engineering, East China University of Science and Technology(东华大学信息科学与工程学院)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出MAGE框架,通过用户提供的轻量锚点识别目标实体,利用记忆图恢复相关记忆并生成监督,实现无语料的去学习,有效提升隐私保护和审计能力。

Comments 15 pages, appendix included

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.03826 2026-04-16 cs.SE 86%

Context Matters: Evaluating Context Strategies for Automated ADR Generation Using LLMs

上下文至关重要:使用LLM评估自动化ADR生成的上下文策略

Aviral Gupta, Rudra Dhar, Daniel Feitosa, Karthik Vaidhyanathan

专题命中 预训练与数据 :LLM(title_cn,abstract_cn);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 本文研究了不同上下文策略对自动化ADR生成质量的影响,发现上下文提示显著提升生成准确性,小范围历史记录在质量和效率间取得最佳平衡。

Comments 11 pages, 5 diagrams, Accepted at EASE Conference 2026 Research Track

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.01738 2026-04-16 cs.CV 85%

Simplicity Prevails: The Emergence of Generalizable AIGI Detection in Visual Foundation Models

简单即正义:视觉基础模型中通用可推广AIGI检测的出现

Yue Zhou, Xinan He, Kaiqing Lin, Bing Fan, Feng Ding, Bin Li

机构 * Shenzhen University(深圳大学) Nanchang University(南昌大学) University of North Texas(北得克萨斯大学)

专题命中 预训练与数据 :foundation model(title,abstract);language model(abstract);pretraining(abstract)

AI总结 本文提出通过简单线性分类器在现代视觉基础模型冻结特征上训练,实现超越专门检测器的AIGI检测性能,尤其在真实世界数据集上表现更优。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14142 2026-04-16 cs.LG cs.AI cs.CL 83%

From $P(y|x)$ to $P(y)$: Investigating Reinforcement Learning in Pre-train Space

从P(y|x)到P(y):在预训练空间中研究强化学习

Yuqiao Tan, Minzheng Wang, Bo Liu, Zichen Liu, Tian Liang, Shizhu He, Jun Zhao, Kang Liu

机构 * Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所) University of Chinese Academy of Sciences(中国科学院大学) National University of Singapore(新加坡国立大学) Tencent AI Lab(腾讯AI实验室)

专题命中 预训练与数据 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出PreRL和DSRL方法,通过优化预训练空间中的边际分布P(y),提升LLM推理能力,并通过NSR机制增强推理效果,实验表明DSRL在推理任务中表现优异。

Comments Preprint. Our code is available at https://github.com/Trae1ounG/Pretrain_Space_RLVR

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13103 2026-04-16 cs.SE cs.MA 83%

Fairness in Multi-Agent Systems for Software Engineering: An SDLC-Oriented Rapid Review

多代理系统在软件工程中的公平性:面向软件开发生命周期的快速综述

Corey Yang-Smith, Ronnie de Souza Santos, Ahmad Abdellatif

专题命中 预训练与数据 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract)

AI总结 本文综述了多代理系统在软件工程中的公平性研究,分析了LLM赋能环境下的公平性框架,指出当前研究在评估实践、泛化能力及缓解机制方面存在三大不足。

Comments 8 pages, 4 figures. Accepted to the LLMTrust workshop at FSE Companion 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13489 2026-04-16 astro-ph.GA astro-ph.IM 80%

A Unified HI Rotation Curve Corpus for Computational Astrophysics: 438 Galaxies from SPARC, THINGS, LITTLE THINGS, and WALLABY DR2

为计算天文学构建统一的HI旋转曲线数据集:来自SPARC、THINGS、LITTLE THINGS和WALLABY DR2的438个星系

David C. Flynn

专题命中 预训练与数据 :LLM(summary_cn);large language model(abstract);language model(abstract)

AI总结 本文提出一个统一的HI旋转曲线数据集,包含423个星系的8963个空间分辨测量,用于传统分析和LLM检索增强生成。

Comments 18 pages, 3 figures, 3 tables. Data available at https://zenodo.org/records/19563417. Submitted to Astronomy and Computing

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15170 2026-04-16 cs.CV 80%

Multi-Dimensional Knowledge Profiling with Large-Scale Literature Database and Hierarchical Retrieval

多维知识谱系:基于大规模文献数据库与分层检索

Zhucun Xue, Jiangning Zhang, Juntao Jiang, Jinzhuo Liu, Haoyang He, Teng Hu, Xiaobin Hu, Yong Liu, Shuicheng Yan

机构 * Zhejiang University(浙江大学) APRIL Lab(APRIL实验室) Shanghai Jiao Tong University(上海交通大学) National University of Singapore(新加坡国立大学)

专题命中 预训练与数据 :LLM(summary_cn,abstract)

AI总结 本文通过整合22个顶级会议2020-2025年的10万+论文,构建多维知识谱系分析框架,结合主题聚类、LLM解析与结构检索,揭示研究主题生命周期、方法迁移、数据集与模型使用模式及机构研究方向。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13620 2026-04-16 cs.CL cs.AI 73%

Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues

Syn-TurnTurk:一种用于土耳其对话中轮询预测的合成数据集

Ahmet Tuğrul Bayrak, Mustafa Sertaç Türkel, Fatma Nur Korkmaz

机构 * Qwen(通义实验室)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出Syn-TurnTurk数据集,通过Qwen大语言模型生成土耳其对话数据,用于提升轮询预测的准确性与AUC分数,促进自然的人机交互。

Comments Accepted for publication in IEEE ICASI 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13054 2026-04-16 cs.CL cs.AI cs.CV 73%

Caption First, VQA Second: Knowledge Density, Not Task Format, Drives Multimodal Scaling

先caption,后VQA:知识密度而非任务格式驱动多模态扩展

Hongjian Zou, Yue Ge, Qi Ding, Yixuan Liao, Xiaoxin Chen

机构 * vivo AI Lab(vivo人工智能实验室) Wuhan University(武汉大学)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 研究发现,多模态模型扩展的关键瓶颈在于训练数据的知识密度而非任务格式,通过结构化caption增强和跨模态知识注入可提升模型性能,表明当前多模态模型因训练数据知识覆盖不足而难以扩展。

Comments 23 pages, 4 figures, 10 tables. Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13313 2026-04-16 cs.LG 70%

Concrete Jungle: Towards Concreteness Paved Contrastive Negative Mining for Compositional Understanding

具体丛林:迈向由具体性铺就的对比负样本挖掘以实现组合理解

Eun Woo Im, Dhruv Madhwal, Vivek Gupta

机构 * Arizona State University(亚利桑那州立大学)

专题命中 预训练与数据 :language model(abstract);pretraining(abstract);分类 cs.LG

AI总结 本文提出ConcretePlant,通过增强具体性术语的修改来提升对比学习信号,解决负样本生成中的梯度失衡问题,提出Cement损失函数以动态校准惩罚,实现更有效的组合理解。

Comments 10 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.08639 2026-04-16 cs.CV cs.AI 70%

UNBOX: Unveiling Black-box visual models with Natural-language

UNBOX:通过自然语言揭示黑盒视觉模型

Simone Carnemolla, Chiara Russo, Simone Palazzo, Quentin Bouniot, Daniela Giordano, Zeynep Akata, Matteo Pennisi, Concetto Spampinato

机构 * University of Catania(卡塔尼亚大学) Technical University of Munich(慕尼黑技术大学) Helmholtz Munich(海德堡-慕尼黑马克斯·普朗克研究所)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.AI

AI总结 UNBOX在无数据、无梯度、无反向传播约束下,利用大语言模型和扩散模型生成可解释文本描述,揭示模型隐含概念与潜在偏见,通过实验验证其在ImageNet-1K等数据集上的有效性。

Comments Under review at IJCV

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.11329 2026-04-16 cs.CL 70%

F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

F-Actor:全双工模型中的可控对话行为

Maike Züfle, Ondrej Klejch, Nicholas Sanders, Jan Niehues, Alexandra Birch, Tsz Kin Lam

机构 * Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院) University of Edinburgh(爱丁堡大学) NatWest(国立西敏银行)

专题命中 预训练与数据 :language model(abstract);pretraining(abstract);分类 cs.CL

AI总结 本文提出首个可训练的全双工对话语音模型,通过冻结音频编码器仅微调语言模型,在有限资源下实现高效训练,支持通过指令控制说话声音、话题和对话行为。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13275 2026-04-16 cs.CL cs.LG 62%

Better and Worse with Scale: How Contextual Entrainment Diverges with Model Size

更大与更小:如何在模型规模下语境同步发生分歧

Dikshant Kukreja, Kshitij Sah, Gautam Gupta, Avinash Anand, Rajiv Ratn Shah, Zhengkui Wang, Aik Beng Ng, Erik Cambria

机构 * IIIT Delhi, India(德里印度理工学院) Nanyang Technological University(南洋理工大学) NVIDIA(NVIDIA公司) Singapore Institute of Technology(新加坡理工学院)

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.LG

AI总结 研究探讨了模型规模对语境同步的影响,发现大模型在忽略虚假信息方面更有效,但对无关token的忽略能力下降,揭示了语义过滤与机械复制的对立行为。

Comments 16 pages, 11 figures, 6 tables. Accepted to Findings of ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13438 2026-04-16 cs.LG 57%

WIN-U: Woodbury-Informed Newton-Unlearning as a retain-free Machine Unlearning Framework

WIN-U:基于Woodbury的牛顿反向学习作为无保留数据的机器反向学习框架

Xingjian Zhao, Mohammad Mohammadi Amiri, Malik Magdon-Ismail

机构 * Department of Computer Science(计算机科学系) Rensselaer Polytechnic Institute(拉特克利夫理工学院)

专题命中 预训练与数据 :LLM(abstract_cn);分类 cs.LG

AI总结 WIN-U提出了一种无需保留数据的机器反向学习框架,通过单次牛顿步骤和Woodbury矩阵恒等式实现高效反向学习,提升去噪效果和鲁棒性。

Comments 21 pages, 3 figures, under review at COLM2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13307 2026-04-16 cs.CV cs.LG 57%

Deep Spatially-Regularized and Superpixel-Based Diffusion Learning for Unsupervised Hyperspectral Image Clustering

深度空间正则化与超像素基于扩散学习的无监督超光谱图像聚类

Vutichart Buranasiri, James M. Murphy

机构 * Tufts University(塔夫茨大学)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 本文提出一种结合掩码深度表征学习与扩散聚类的无监督超光谱图像聚类框架,通过改进的空间正则化超像素扩散学习算法,提升聚类质量。

Comments To appear in IEEE IGARSS 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.10877 2026-04-16 cs.LG 57%

Guided Transfer Learning for Discrete Diffusion Models

指导式迁移学习用于离散扩散模型

Julian Kleutgens, Claudio Battiloro, Lingkai Kong, Benjamin Grewe, Francesca Dominici, Mauricio Tec

机构 * Harvard University(哈佛大学) ETH Zürich(苏黎世联邦理工学院)

专题命中 预训练与数据 :language model(abstract);分类 cs.LG

AI总结 本文提出GTL方法,通过比率引导实现离散扩散模型的迁移学习,解决小数据下模型性能问题,展示在序列数据中效果显著,但存在源分布与目标分布重叠不足时的失效模式。

Comments Accepted at ICLR 2026 ReALM-GEN Workshop 9 pages (main text) + appendix

Journal ref ICLR 2026 ReALM-GEN Workshop

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.01773 2026-04-16 cs.RO 50%

IGen: Scalable Data Generation for Robot Learning from Open-World Images

IGen: 为机器人学习从开放世界图像中实现可扩展的数据生成

Chenghao Gu, Haolan Kang, Junchao Lin, Jinghe Wang, Duo Wu, Shuzhao Xie, Fanding Huang, Junchen Ge, Ziyang Gong, Letian Li, Hongying Zheng, Changwei Lv, Zhi Wang

机构 * Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院) The University of Hong Kong(香港大学) Beijing University of Chemical Technology(北京化工大学) Shanghai Jiao Tong University(上海交通大学) Shenzhen University of Infomation Technology(深圳信息大学)

专题命中 预训练与数据 :language model(abstract)

AI总结 本文提出IGen框架,通过开放世界图像生成高质量的视觉-运动数据,验证了其在机器人学习中的有效性。

Comments 8 pages, 8 figures; Accepted to CVPR 2026

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 21 篇

2604.13979 2026-04-16 cs.CL cs.AI cs.DB 92%

Leveraging LLM-GNN Integration for Open-World Question Answering over Knowledge Graphs

利用LLM-GNN集成进行知识图谱上的开放世界问答

Hussein Abdallah, Ibrahim Abdelaziz, Panos Kalnis, Essam Mansour

机构 * Concordia University(康科迪亚大学) IBM KAUST(科威特大学)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出GLOW系统,结合预训练GNN和LLM进行开放世界知识图谱问答,通过结构化提示引导LLM推理,提升多跳推理和缺失链接处理能力,在GLOW-BENCH基准上取得显著提升。

Comments 18 pages,6 figures,10 tables. https://aclanthology.org/2026.eacl-long.26/

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13328 2026-04-16 cs.LG 92%

Multi-Task LLM with LoRA Fine-Tuning for Automated Cancer Staging and Biomarker Extraction

多任务LLM结合LoRA微调用于自动癌症分期和生物标志物提取

Jiahao Shao, Anam Nawaz Khan, Christopher Brett, Tom Berg, Xueping Li, Bing Yao

机构 * Department of Industrial & Systems Engineering, The University of Tennessee, Knoxville(工业与系统工程系,田纳西大学, Knoxville)

专题命中 指令微调 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出一种参数高效、多任务框架,利用LoRA微调LLM实现乳腺癌TNM分期、组织学分级和生物标志物的自动化提取,实验显示其在宏F1分数上达到0.976,优于传统方法。

Comments 11 pages, 3 figures and 4 tables in the main manuscript. Additional content, figures and tables are in supplementary material section. 17 pages in total

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.07591 2026-04-16 cs.CL cs.AI 91%

MulDimIF: A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

MulDimIF:一种多维约束框架用于评估和改进大语言模型的指令遵循能力

Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

机构 * Fudan University(复旦大学) Lenovo Research(联想研究院) Tencent(腾讯) Shanghai Artificial Intelligence Laboratory(上海人工智能实验室) Shanghai Key Lab of Intelligent Information Processing(上海智能信息处理重点实验室)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);LLM(summary_cn,abstract_cn);分类 cs.CL、cs.AI

AI总结 本文提出MulDimIF框架,通过多维约束模式、类别和难度等级,设计可控指令生成流程,生成9106个可验证样本,评估18个LLM模型,发现不同约束设置下性能差异显著,并通过训练提升指令遵循能力而不影响通用性能。

Comments Accepted by ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21760 2026-04-16 cs.CL cs.AI 91%

fMRI-LM: Towards a Universal Foundation Model for Language-Aligned fMRI Understanding

fMRI-LM:迈向语言对齐的fMRI理解的通用基础模型

Yuxiang Wei, Yanteng Zhang, Xi Xiao, Chengxuan Qian, Tianyang Wang, Vince D. Calhoun

机构 * TReNDS Center (Georgia Institute of Technology, Georgia State University, Emory)(TReNDS中心(佐治亚理工学院、佐治亚州立大学、埃默里大学)) University of Alabama at Birmingham(阿拉巴马大学伯明翰分校) Jiangsu University(江苏大学)

专题命中 指令微调 :LLM(summary_cn,abstract);foundation model(title);large language model(abstract);language model(abstract)

AI总结 本文提出fMRI-LM,通过三阶段框架将fMRI与语言结合,实现跨模态脑表示,通过神经分词、预训练LLM适应及多任务微调,提升fMRI的语义理解能力。

Comments Code are available: https://github.com/yuxiangwei0808/fMRI-LM

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13715 2026-04-16 cs.SD cs.AI 88%

Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

迈向细粒度时间感知:通过音频侧时间提示进行后训练的大音频-语言模型

Yanfeng Shi, Pengfei Cai, Jun Liu, Qing Gu, Nan Jiang, Lirong Dai, Ian McLoughlin, Yan Song

机构 * National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China, Hefei, China(语音与语言信息处理国家级工程研究中心,中国科学技术大学,合肥,中国) ICT Cluster, Singapore Institute of Technology, Singapore(新加坡理工学院ICT集群,新加坡)

专题命中 指令微调 :language model(title,abstract);post-training(title);SFT(abstract);分类 cs.AI

AI总结 本文提出Audio-Side Time Prompt方法,结合强化学习改进大音频-语言模型的时间感知能力,在音频定位、事件检测等任务中取得显著提升。

Comments Submitted to Interspeech 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13368 2026-04-16 cs.CL 88%

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models

TLoRA+: 一种用于大型语言模型的低秩参数高效微调方法

Yarui Cao, Kai Liu

机构 * Department of Computer Science(计算机科学系)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 本文提出TLoRA+方法,结合TLoRA+优化器提升大型语言模型的微调效率与性能,通过实验验证其在GLUE基准上的有效性与鲁棒性。

Comments 16 pages, 12 figures and 6 tables in total. Submitted to CoLM

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13993 2026-04-16 cs.AI cs.CL cs.CV 88%

Reward Design for Physical Reasoning in Vision-Language Models

用于视觉语言模型中物理推理的奖励设计

Derek Lilienthal, Manisha Mukherjee, Sameera Horawalavithana

机构 * Pacific Northwest National Laboratory(太平洋西北国家实验室)

专题命中 指令微调 :language model(title,abstract);SFT(abstract,abstract_cn);post-training(abstract);分类 cs.CL、cs.AI

AI总结 本文探讨了奖励设计对视觉语言模型物理推理的影响,通过对比不同奖励信号发现,基于准确性的奖励在多数领域表现最佳,而基于注意力权重的奖励提升了空间推理能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.10135 2026-04-16 cs.CL cs.AI 88%

Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities

按句子思考:显式句子边界增强语言模型的能力

Zhichen Liu, Yongyuan Li, Yang Xu

机构 * Department of Computer Science and Engineering(计算机科学与工程系)

专题命中 指令微调 :language model(title,abstract);LLM(abstract,abstract_cn);large language model(abstract);分类 cs.CL、cs.AI

AI总结 本文通过在语言模型输入中插入句子边界分隔符,提升其处理能力,实验显示在GSM8k和DROP任务上分别提升7.7%和12.5%。

Comments Accepted to ACL 2026 main conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13538 2026-04-16 cs.CL 86%

Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

通过对比解码合成指令微调数据集

Tatsuya Ichinose, Youmi Ma, Masanari Oi, Ryuto Koike, Naoaki Okazaki

机构 * Department of Computer Science, School of Computing, Institute of Science Tokyo(东京科学大学计算机科学系) National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院) Research and Development Center for Large Language Models, NII(大型语言模型研究与开发中心,日本信息产业技术综合研究所)

专题命中 指令微调 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);instruction tuning(abstract)

AI总结 本文提出CoDIT方法,通过对比解码分离预训练知识与指令遵循能力,提升指令微调效果。实验表明基于CoDIT构建的数据集在多个基准上表现更优。

Comments 24 pages, 7 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.14016 2026-04-16 cs.LG cs.AI 86%

MAny: Merge Anything for Multimodal Continual Instruction Tuning

MAny:为多模态连续指令微调合并任何内容

Zijian Gao, Wangwang Jia, Xingxing Zhang, Pengfei Qian, Tao Sun, Bo Ding, Yong Dou, Huaimin Wang, Kele Xu

机构 * College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院) National Key Laboratory of Parallel and Distributed Computing, National University of Defense Technology(国防科技大学并行与分布式计算国家重点实验室) State Key Laboratory of Complex & Critical Software Environment(复杂与关键软件环境国家重点实验室) School of Computer Science, Tsinghua University(清华大学计算机科学与技术系)

专题命中 指令微调 :instruction tuning(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 针对多模态连续指令微调中感知漂移和推理崩溃问题,提出MAny框架,通过跨模态投影合并和低秩参数合并实现任务知识融合,提升模型鲁棒性和性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.13268 2026-04-16 cs.CV cs.CL cs.IR 83%

Indexing Multimodal Language Models for Large-scale Image Retrieval

多模态大语言模型的索引用于大规模图像检索

Bahey Tharwat, Giorgos Kordopatis-Zilos, Pavel Suma, Ian Reid, Giorgos Tolias

机构 * Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学) VRG, FEE, Czech Technical University in Prague(布拉格捷克技术大学VRG学院)

专题命中 指令微调 :language model(title,abstract);large language model(abstract);分类 cs.CL

AI总结 本文探讨了多模态大语言模型作为无训练相似性估计器在实例级图像到图像检索中的应用,通过提示配对图像并转换下一个词的概率为相似性分数,实现了零样本重排序,展示了其在大规模检索中的优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.17326 2026-04-16 cs.CV 82%

Democratising Pathology Co-Pilots: An Open Pipeline and Dataset for Whole-Slide Vision-Language Modelling

让病理共驾民主化:一个开放的管道和数据集用于整张滑片视觉-语言建模

Sander Moonemans, Sebastiaan Ram, Frédérique Meeuwsen, Carlijn Lems, Jeroen van der Laak, Geert Litjens, Francesco Ciompi

机构 * Computational Pathology Group, Radboud University Medical Center(计算病理组,拉德堡德大学医学中心)

专题命中 指令微调 :language model(title,abstract);instruction tuning(abstract)

AI总结 本文提出Polysome工具和HISTAI-Instruct数据集,训练出ANTONI-α模型,在整张滑片VQA任务中超越MedGemma,所有方法和数据公开。

Comments 12 pages, 4 figures

详情

展开后加载摘要…

URL PDF HTML 收藏