arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-03-19 至 2026-03-19 共收录 255 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 11 篇

2603.17220 2026-03-19 cs.CL cs.AI cs.LG 90%

TharuChat: Bootstrapping Large Language Models for a Low-Resource Language via Synthetic Data and Human Validation

TharuChat:通过合成数据和人类验证提升低资源语言的大型语言模型

Prajwal Panth, Agniva Maiti

机构 * School of Computer Engineering KIIT Deemed to be University(计算机工程学院 KIIT 研究生大学)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Tharu-LLaMA(3B)模型,通过合成数据和人类验证构建TharuChat数据集,解决低资源语言在AI中的代表性问题,提升模型性能并证明生成式AI在保护濒危语言中的可行性。

Comments 6 pages, 1 figure, 2 tables. Preprint. Code and dataset available on Hugging Face

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.15119 2026-03-19 cs.CV 82%

A Tutorial on ALOS2 SAR Utilization: Dataset Preparation, Self-Supervised Pretraining, and Semantic Segmentation

ALOS2 SAR利用教程:数据准备、自监督预训练与语义分割

Nevrez Imamoglu, Ali Caglayan, Toru Kouyama

机构 * National Institute of Advanced Industrial Science(国家先进工业科学促进机构)

专题命中 预训练与数据 :pretraining(title,abstract);foundation model(abstract)

AI总结 本文介绍如何利用ALOS2 SAR数据进行预训练和语义分割,通过改进的预训练方法减少噪声影响,提升分割性能。

Comments 10 pages, 8 figures, 1 Table

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17326 2026-03-19 cs.CV 80%

FineViT: Progressively Unlocking Fine-Grained Perception with Dense Recaptions

FineViT: 通过密集描述逐步解锁细粒度感知

Peisen Zhao, Xiaopeng Zhang, Mingxing Xu, Ruoyu Sun, Zewei Du, Dunzheng Wang, Guanghao Zheng, Haohang Xu, Zhibo Zhang, Yuhang Zhang, Yi Ai, Lin Liu, Qi Tian

机构 * Huawei Inc.(华为公司)

专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);pretraining(abstract)

AI总结 FineViT通过密集描述逐步训练,提升细粒度视觉感知能力,在长上下文检索中表现优异,超越现有多模态视觉编码器。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16936 2026-03-19 cs.CV cs.AI 79%

TDMM-LM: Bridging Facial Understanding and Animation via Language Models

TDMM-LM:通过语言模型弥合面部理解与动画之间的差距

Luchuan Song, Pinxin Liu, Haiyang Liu, Zhenchao Jin, Yolo Yunlong Tang, Zichong Xu, Susan Liang, Jing Bi, Jason J Corso, Chenliang Xu

机构 * University of Rochester(罗切斯特大学) University of Tokyo(东京大学) University of Michigan(密歇根大学) Voxel51

专题命中 预训练与数据 :language model(title,abstract);分类 cs.AI

AI总结 本文通过语言模型实现面部动作的双向建模,提出TDMM-LM框架,利用生成模型合成面部行为数据集,并通过Motion2Language和Language2Motion任务实现面部动画与理解的统一路径。

Comments 12 pages, 13 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.15248 2026-03-19 cs.CL 77%

The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres

道德化语料库:跨多样文本体的基于框架的道德化言语行为标注与分析

Maria Becker, Mirko Sommer, Lars Tapken, Yi Wan Teh, Bruno Brocai

机构 * Department of German Linguistics, Heidelberg University(海德堡大学德语语言学系) Department of Computational Linguistics, Heidelberg University(海德堡大学计算语言学系)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);prompting(abstract);分类 cs.CL

AI总结 本文提出道德化语料库,用于分析道德价值观在论证话语中的策略使用,评估大型语言模型在道德化检测与成分提取中的表现,并揭示其高度主观性和情境敏感性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2208.05545 2026-03-19 cs.CL cs.CY cs.LG 73%

The Moral Foundations Reddit Corpus

道德基础Reddit语料库

Jackson Trager, Alireza S. Ziabari, Elnaz Rahmati, Aida Mostafazadeh Davani, Preni Golazizian, Farzan Karimi-Malekabadi, Ali Omrani, Zhihe Li, Brendan Kennedy, Georgios Chochlakis, Nils Karl Reimer, Melissa Reyes, Kelsey Cheng, Mellow Wei, Christina Merrifield, Arta Khosravi, Evans Alvarez, Morteza Dehghani

机构 * University of Southern California(南加州大学)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 该研究提出一个包含16123条Reddit评论的语料库,用于标注道德情感,通过评估不同模型表现,强调了人工标注数据在AI对齐评估中的重要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17884 2026-03-19 cs.CL 70%

DebugLM: Learning Traceable Training Data Provenance for LLMs

DebugLM: 为大语言模型学习可追溯的训练数据来源

Wenjie Jacky Mo, Qin Liu, Xiaofei Wen, Wenxuan Zhou, Zhe Zhao, Muhao Chen

机构 * University of California, Davis(加州大学戴维斯分校) University of Southern California(南加州大学)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 DebugLM通过内置数据溯源能力,使LLM能追溯行为来源,支持测试时针对性修复,提升调试效率和模型鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2305.13047 2026-03-19 cs.CL 70%

Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

复杂主题和小语言中的自动化立场检测:极化新闻媒体中移民问题的挑战性案例

Mark Mets, Andres Karjus, Indrek Ibrus, Maximilian Schich

机构 * School of Humanities, Tallinn University, Estonia(塔林大学人文学科学院,爱沙尼亚) Baltic Film, Media and Arts School, Tallinn University, Estonia(巴尔蒂克电影、媒体与艺术学院,塔林大学,爱沙尼亚) ERA Chair for Cultural Data Analytics, Tallinn University, Estonia(塔林大学文化数据分析埃拉教席,爱沙尼亚)

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文探讨了在形态复杂、低资源语言和复杂社会文化主题下,使用大语言模型进行自动化立场检测的可行性,通过对比多种语言模型和ChatGPT的表现,展示了其在新闻分析中的应用潜力。

Journal ref Plos one, 19(4), e0302380 (2024)

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.15151 2026-03-19 cs.LG 70%

Time Tracker: Mixture-of-Experts-Enhanced Foundation Time Series Forecasting Model with Decoupled Training Pipelines

时间追踪:混合专家增强的基础时间序列预测模型与解耦训练流水线

Aobo Liang, Yan Sun, Xiaohou Shi, Ke Li

机构 * School of Computer Science (National Pilot Software Engineering School)(计算机学院(国家级试点软件工程学院)) Beijing University of Posts and Telecommunications(北京邮电大学) China Telecom Research Institute(中国电信研究院)

专题命中 预训练与数据 :foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 本文提出Time Tracker模型,通过稀疏混合专家和Any-variate Attention处理多变量时间序列,提升预测精度和泛化能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.03818 2026-03-19 cs.LG cs.AI cs.RO 62%

Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning

预训练视觉-语言-动作模型在持续学习中出人意料地表现出遗忘抵抗性

Huihan Liu, Changyeon Kim, Bo Liu, Minghuan Liu, Yuke Zhu

机构 * The University of Texas at Austin(德克萨斯大学奥斯汀分校) Microsoft Superintelligence(微软超级智能)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.AI、cs.LG

AI总结 研究发现预训练的视觉-语言-动作模型在持续学习中表现出较强的遗忘抵抗性,简单经验回放在这些模型上效果显著,即使数据量小也能实现零遗忘。

Comments Project website: https://continual-vlas.github.io/forget-me-not/

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17947 2026-03-19 cs.LG q-bio.NC 57%

Unified Policy Value Decomposition for Rapid Adaptation

统一的策略价值分解用于快速适应

Cristiano Capone, Luca Falorsi, Andrea Ciardiello, Luca Manneschi

机构 * Computational Neuroscience Unit, Istituto Superiore di Sanità(国家卫生研究院计算神经科学单位) School of Computer Science, University of Sheffield(谢菲尔德大学计算机科学学院)

专题命中 预训练与数据 :pretraining(abstract);分类 cs.LG

AI总结 本文提出一种统一的策略价值分解框架,通过共享低维系数向量实现快速任务适应。该方法结合了结构化价值基础和兼容策略基础,利用乘法门控机制在无需重新训练的情况下适应新任务。

详情

展开后加载摘要…

URL PDF HTML 收藏

2. 指令微调 17 篇

2603.17504 2026-03-19 cs.CL 92%

Inducing Epistemological Humility in Large Language Models: A Targeted SFT Approach to Reducing Hallucination

在大型语言模型中诱导知识谦逊:一种针对减少幻觉的定向SFT方法

Cem Uluoglakci, Tugba Taskaya Temizel

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);SFT(title,abstract);分类 cs.CL

AI总结 本文提出HypoTermInstruct数据集,通过非现实术语问题训练模型知识谦逊,减少幻觉,实验显示其显著提升HypoTerm Score和FactScore,同时保持MMLU性能稳定。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17541 2026-03-19 cs.CV 89%

Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

时间收益,空间代价:重新审视多模态大语言模型中的视频微调

Linghao Zhang, Jungang Li, Yonghua Hei, Sicheng Tao, Song Dai, Yibo Yan, Zihao Dongfang, Weiting Liu, Chenxi Qin, Hanqian Li, Xin Zou, Jiahao Zhang, Shuhang Xun, Haiyun Jiang, Xuming Hu

机构 * SJTU(上海交通大学) HKUST(GZ)(香港科技大学(珠海)) HKUST(香港科技大学) CityU(城市大学) FDU(复旦大学) HIT(哈尔滨工业大学) TJU(天津大学)

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);SFT(abstract)

AI总结 本文研究了视频微调对多模态大语言模型视觉能力的影响,发现视频性能提升的同时,静态图像表现可能受限,提出混合帧策略以缓解空间与时间理解的平衡问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17917 2026-03-19 cs.LG cs.CL 88%

Only relative ranks matter in weight-clustered large language models

仅相对排名在权重聚类的大型语言模型中起作用

Borja Aizpurua, Sukhbinder Singh, Román Orús

机构 * Department of Basic Sciences, Tecnun - University of Navarra, San Sebasti\'an, Spain Donostia International Physics Center, San Sebasti\'an, Spain

专题命中 指令微调 :large language model(title,abstract);language model(title,abstract);分类 cs.CL、cs.LG

AI总结 本文研究了大型语言模型中权重相对排名的重要性,通过权重聚类减少唯一权重值,实现模型压缩,同时保持准确性,并探讨了相对排名对模型质量的影响。

Comments 10 pages, 3 figures, 9 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.25093 2026-03-19 cs.LG cs.IR 83%

Continual Low-Rank Adapters for LLM-based Generative Recommender Systems

连续低秩适配器用于基于LLM的生成推荐系统

Hyunsik Yoo, Ting-Wei Li, SeongKu Kang, Zhining Liu, Charlie Xu, Qilin Qi, Hanghang Tong

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Korea University(韩国大学) Amazon(亚马逊)

专题命中 指令微调 :LLM(title);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出PESO方法,通过引入近端正则化器,在推荐系统中实现连续学习,平衡适应与保留,提升对近期用户行为的捕捉能力。

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.21852 2026-03-19 cs.LG cs.AI 79%

A Comedy of Estimators: On KL Regularization in RL Training of LLMs

估计器的喜剧:关于在LLM训练中的KL正则化

Vedant Shah, Johan Obando-Ceron, Vineet Jain, Brian Bartoldson, Bhavya Kailkhura, Sarthak Mittal, Glen Berseth, Pablo Samuel Castro, Yoshua Bengio, Nikolay Malkin, Moksh Jain, Siddarth Venkatraman, Aaron Courville

机构 * McGill University(麦吉尔大学) LawZero(法零) LLNL(劳伦斯利弗莫尔国家实验室) University of Edinburgh(爱丁堡大学) CIFAR AI Chair(CIFAR人工智能主席) CIFAR Fellow

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 本文研究了在LLM训练中使用KL正则化的估计器方法,分析了不同配置对训练稳定性及下游性能的影响,发现偏导数估计器可能导致训练不稳定,而无偏导数估计器能提升模型在领域内外任务的表现。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17079 2026-03-19 cs.CV 78%

ACE-LoRA: Graph-Attentive Context Enhancement for Parameter-Efficient Adaptation of Medical Vision-Language Models

ACE-LoRA:图注意上下文增强用于医疗视觉-语言模型的参数高效适应

M. Arda Aydın, Melih B. Yilmaz, Aykut Koç, Tolga Çukur

机构 * Bilkent University(比尔肯特大学) National Magnetic Resonance Research Center (UMRAM)(国家磁共振研究所以及UMRAM)

专题命中 指令微调 :language model(title,abstract)

AI总结 本文提出ACE-LoRA框架,通过整合LoRA模块和ACE-HGNN模块,提升医疗VLM的零样本泛化能力,解决领域特异性与泛化能力的平衡问题。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.13293 2026-03-19 cs.CV eess.IV 78%

NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving

NutVLM: 一种针对自动驾驶中视觉语言模型全维度攻击的自适应防御框架

Xiaoxu Peng, Dong Zhou, Jianwen Zhang, Guanghui Sun, Anh Tu Ngo, Anupam Chattopadhyay

机构 * Department of Control Science and Engineering, Harbin Institute of Technology(控制科学与工程系,哈尔滨工业大学) College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)

专题命中 指令微调 :language model(title,abstract)

AI总结 本文提出NutVLM框架,通过NutNet++ sentinel检测并净化良性样本、局部修补和全局扰动,结合高效灰度遮蔽和专家引导的对抗提示调优,提升自动驾驶中视觉语言模型的鲁棒性与性能。

Comments 12 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17187 2026-03-19 cs.LG 77%

MetaClaw: Just Talk -- An Agent That Meta-Learns and Evolves in the Wild

MetaClaw:只需交谈--一个在野中元学习和进化的智能体

Peng Xia, Jianwen Chen, Xinyu Yang, Haoqin Tu, Jiaqi Liu, Kaiwen Xiong, Siwei Han, Shi Qiu, Haonian Ji, Yuyin Zhou, Zeyu Zheng, Cihang Xie, Huaxiu Yao

机构 * Carnegie Mellon University(卡内基梅隆大学)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 MetaClaw通过元学习框架实现持续进化,结合技能驱动快速适应与机会性策略优化,提升任务准确性与鲁棒性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.01732 2026-03-19 cs.CL 77%

Bootstrapping Embeddings for Low Resource Languages

通过低资源语言进行嵌入补丁

Merve Basoz, Andrew Horne, Mattia Opper

机构 * School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院) Edina, University of Edinburgh, UK(爱丁堡大学埃丁纳分校)

专题命中 指令微调 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文探讨利用大语言模型生成合成三元组数据以优化嵌入模型,提出两种新方法(适配器组合和跨语言微调XL-LoRA),在多种任务和语言上取得显著提升。

Comments (v2 - LoResLM Camera Ready)

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.21818 2026-03-19 cs.CV 75%

SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model

SkyReels-V4:多模态视频-音频生成、修复和编辑模型

Guibin Chen, Dixuan Lin, Jiangping Yang, Youqiang Zhang, Zhengcong Fei, Debang Li, Sheng Chen, Chaofeng Ao, Nuo Pang, Yiming Wang, Yikun Dou, Zheng Chen, Mingyuan Fan, Tuanhui Li, Mingshan Chang, Hao Zhang, Xiaopeng Sun, Jingtao Xu, Yuqiang Xie, Jiahua Wang, Zhiheng Xu, Weiming Xiong, Yuzhe Jin, Baoxuan Gu, Binjie Mao, Yunjie Yu, Jujie He, Yuhao Feng, Shiwen Tu, Chaojie Wang, Rui Yan, Wei Shen, Jingchen Wu, Peng Zhao, Xuanyue Zhong, Zhuangzhuang Liu, Kaifei Wang, Fuxiang Zhang, Weikai Xu, Wenyan Liu, Binglu Zhang, Yu Shen, Tianhui Xiong, Bin Peng, Liang Zeng, Xuchen Song, Haoxiang Guo, Peiyu Wang, Max W. Y. Lam, Chien-Hung Liu, Yahui Zhou

机构 * Skywork AI

专题命中 指令微调 :large language model(abstract);language model(abstract);foundation model(abstract)

AI总结 SkyReels-V4是一款多模态视频基础模型,支持视频音频生成、修复和编辑,采用双流多模态扩散变换器架构,结合文本编码器实现多模态指令处理,支持高分辨率、长时长视频生成。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.22621 2026-03-19 cs.LG cs.AI cs.CL 67%

IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning

IA2: 通过ICL激活实现对监督微调的改进

Aayush Mishra, Daniel Khashabi, Anqi Liu

机构 * Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系)

专题命中 指令微调 :SFT(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出IA2方法,通过利用ICL的激活模式提升监督微调的准确性和校准性,在12个基准和两个模型家族中验证了其有效性。

Comments International Conference on Learning Representations (ICLR) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.11611 2026-03-19 cs.AI cs.CL cs.CR 62%

Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence

噪声中的信号:多义干扰转移和跨模型影响预测

Bofan Gong, Shiyang Lai, James Evans, Dawn Song

机构 * Independent Scholar(独立学者) University of Chicago(芝加哥大学) UC Berkeley(伯克利大学)

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 研究通过稀疏自编码器揭示语言模型中的多义性结构,并发现干预措施在不同模型间可转移,挑战了多义性仅为随机现象的观点。

Journal ref ICLR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16901 2026-03-19 cs.LG cs.AI 62%

From Language to Action in Arabic: Reliable Structured Tool Calling via Data-Centric Fine-Tuning

从阿拉伯语到行动:通过数据驱动的微调实现可靠的结构化工具调用

Omer Nacar, Deema Alquffari, Saleh Alsharideh, Adeem AlOtaibi, Abdulaziz Alabdulkarim, Leen Alhazmi, Nada Alomar, Wareef Alzubaidi, Nada Alsultan, Ahmed Alrabghi, Demah Alhoshan, Rana Alsayyari, Hamed Alruwaili, Albaraa Jaafar, Khaled Alusmani, Abdulaziz Alsohimy, Munirah Alsubaie, Shahd Aldukhayil, Arwa Alali, Yazeed BinShihah, Razan Alsulaymi, Nourah Alhumaid, Razan Abdulsalam, Reem Alamoudi, Mohammed Alkhalifa

机构 * Tuwaiq Academy(图瓦伊克学院) Tahakom(塔哈科姆) Wakeb Company(沃克公司) Qatmeer Co.(卡提迈尔公司) NCGR Vision Bank(视觉银行)

专题命中 指令微调 :language model(abstract);分类 cs.AI、cs.LG

AI总结 本文提出AISA-AR-FunctionCall框架,通过数据审计、模式修复和提示重构等方法,显著提升阿拉伯语函数调用模型的稳定性与准确性,减少解析失败率并提高功能名称识别精度。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16889 2026-03-19 cs.CL cs.AI cs.SD eess.AS 62%

Rubric-Guided Fine-tuning of SpeechLLMs for Multi-Aspect, Multi-Rater L2 Reading-Speech Assessment

基于评分标准的语音大模型多维度多评分者二语阅读语音评估

Aditya Kamlesh Parikh, Cristian Tejedor-Garcia, Catia Cucchiarini, Helmer Strik

专题命中 指令微调 :language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出基于评分标准的语音大模型微调方法,通过多维度评分标准和不确定性校准,提升二语阅读语音评估的可靠性与可解释性。

Comments Accepted to LREC 2026. This publication is part of the project Responsible AI for Voice Diagnostics (RAIVD) with file number NGF.1607.22.013 of the research programme NGF AiNed Fellowship Grants, which is financed by the Dutch Research Council (NWO)

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.01899 2026-03-19 cs.LG stat.ML 57%

Provably Safe Model Updates

可证明安全的模型更新

Leo Elmecker-Plakolm, Pierre Fasterling, Philip Sosnin, Calvin Tsay, Matthew Wicker

机构 * Department of Computing(计算系) Imperial College London(帝国理工学院伦敦分校) School of Computer and Comm. Sciences (IC)(计算机与通信科学系) École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)

专题命中 指令微调 :foundation model(abstract);分类 cs.LG

AI总结 本文提出可证明安全的模型更新框架,通过计算最大局部不变域来确保模型更新的安全性,有效避免遗忘并提供形式化安全保证。

Comments 12 pages, 9 figures. This work has been accepted for publication at SaTML 2026. The final version will be available on IEEE Xplore

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.17782 2026-03-19 cs.CV 50%

Exploring parameter-efficient fine-tuning (PEFT) of billion-parameter vision models with QLoRA and DoRA: insights into generalization for limited-data image classification under a 98:1 test-to-train regime

探索使用QLoRA和DoRA对十亿参数视觉模型进行参数高效微调:在98:1测试到训练数据比例下有限数据图像分类的泛化性洞察

Haiyu Yang, Sumit Sharma, Enhong Liu, Miel Hostens

机构 * Cornell University, College of Agriculture and Life Sciences(康奈尔大学农业与生命科学学院)

专题命中 指令微调 :foundation model(abstract)

AI总结 本文比较了三种方法在有限数据图像分类中的泛化能力,发现参数高效微调显著优于其他方法,最佳配置在较短时间内达到高准确率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2503.08485 2026-03-19 cs.CV 50%

Test-Time 3D Occupancy Prediction

测试时3D占用预测

Fengyi Zhang, Xiangyu Sun, Huitong Yang, Zheng Zhang, Zi Huang, Yadan Luo

机构 * UQMM Lab, The University of Queensland(昆士兰大学UQMM实验室) Harbin Institute of Technology(哈尔滨工程大学)

专题命中 指令微调 :foundation model(abstract)

AI总结 本文提出TT-Occ框架,通过实时集成视觉基础模型,实现灵活的3D高斯表示和占用预测,适用于不同体素分辨率和新类别识别。

Comments CVPR 2026

详情

展开后加载摘要…

URL PDF HTML 收藏

3. 后训练与偏好优化 11 篇

2510.09259 2026-03-19 cs.CL cs.AI cs.LG 93%

Detecting Data Contamination from Reinforcement Learning Post-training for Large Language Models

在大型语言模型后训练强化学习中检测数据污染

Yongding Tao, Tian Wang, Yihong Dong, Huanyu Liu, Kechi Zhang, Xiaolong Hu, Ge Li

机构 * School of Computer Science, Peking University(北京大学计算机学院) New H3C Technologies Co., Ltd(新华H3C技术有限公司)

专题命中 后训练与偏好优化 :large language model(title,abstract);language model(title,abstract);post-training(title,abstract);LLM(abstract)

AI总结 本文提出Self-Critique方法,通过分析LLM后强化学习阶段输出熵分布的变化来检测数据污染,实验表明其在多个模型和污染任务中显著优于基线方法,AUC提升达30%。

Comments Accepted to ICLR 2026. Code is available at https://github.com/yongding-tao/RL-Data-Contamination

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.16897 2026-03-19 eess.SP cs.CL cs.HC cs.LG q-bio.NC 86%

EEG-Based Brain-LLM Interface for Human Preference Aligned Generation

基于EEG的脑-大语言模型接口用于人类偏好对齐生成

Junzi Zhang, Jianing Shen, Weijie Tu, Yi Zhang, Hailin Zhang, Tom Gedeon, Bin Jiang, Yue Yao

机构 * Shandong University, China(山东大学) Australian National University, Australia(澳大利亚国立大学) Curtin University, Australia(Curtin大学)

专题命中 后训练与偏好优化 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 本文提出基于EEG的脑-大语言模型接口,通过EEG信号引导图像生成模型,利用神经信号反馈实现模型动态适应,为适应性语言模型推理提供新思路。

Comments 15 pages, 9 figures

详情

展开后加载摘要…

URL PDF HTML 收藏