arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-03-20 至 2026-03-20 共收录 20 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 20 篇

2601.07632 2026-03-20 cs.CV cs.AI 89%

GeoMotionGPT: Geometry-Aligned Motion Understanding with Large Language Models

GeoMotionGPT:基于大语言模型的几何对齐运动理解

Zhankai Ye, Bofan Li, Yukai Jin, Shuoqiu Li, Wei Wang, Yanfu Zhang, Shangqian Gao, Xin Liu

机构 * Florida State University(佛罗里达州立大学) Texas Tech University(德克萨斯技术大学) William & Mary University(威廉与玛丽大学)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.AI

AI总结 本文提出GeoMotionGPT框架,通过几何对齐提升运动理解与运动-语言推理能力,实验表明在HumanML3D和KIT-ML上性能提升显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.20623 2026-03-20 cs.AI 89%

Copyright Detection in Large Language Models: An Ethical Approach to Generative AI Development

在大型语言模型中的版权检测:生成式AI发展的伦理方法

David Szczecina, Senan Gaffori, Edmond Li

机构 * University of Waterloo(滑铁卢大学)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.AI

AI总结 本文提出一个开源平台,帮助内容创作者验证其作品是否被用于LLM训练数据集,通过提升易用性、改进相似性检测和优化数据集验证,减少计算开销,促进AI开发的透明度和伦理合规。

Comments 4 pages, 3 figures

Journal ref Canadian Undergraduate Conference on Artificial Intelligence, 4 (2025) 75-78

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18013 2026-03-20 cs.CL 88%

Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models

学会但未表达:大型语言模型中的能力-表达脱节

Toshiyuki Shigemura

机构 * Independent Researcher(独立研究员)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);分类 cs.CL

AI总结 研究探讨了大型语言模型在特定条件下能重构训练数据内容,但无法在常规生成任务中表现的能力脱节现象,发现生成输出中未出现非因果解决方案框架。

Comments 12 pages, 3 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.11103 2026-03-20 cs.SE 88%

Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

通过重构理解:为LLM预训练反转软件开发过程

Zhiyuan Zeng, Yichi Zhang, Yong Shan, Kai Hua, Siyuan Fang, Zhaiyu Liu, Jiaheng Liu, Haozhe Wang, Yining Zheng, Ming Ding, Ke Shen, Ge Zhang, Wenhao Huang, Xipeng Qiu

专题命中 预训练与数据 :LLM(title);pretraining(title);large language model(abstract);language model(abstract)

AI总结 本文提出通过重构软件开发过程来提升LLM性能,通过模拟多智能体轨迹生成更丰富的监督信号,实验显示在多个基准测试中效果显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.26352 2026-03-20 cs.CL cs.AI cs.MA 87%

The Geometry of Dialogue: Graphing Language Models to Reveal Synergistic Teams for Multi-Agent Collaboration

对话的几何学:基于图谱的语言模型揭示多智能体协作的协同团队

Kotaro Furuya, Yuichi Kitagawa

专题命中 预训练与数据 :language model(title,abstract);LLM(abstract,comments);large language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出一种基于交互的自动团队组建框架,通过构建语言模型图谱揭示多智能体协作的协同团队,实验表明其能发现功能一致的团队并优于随机基线。

Comments Accepted at the AAAI-26 Workshop on LLM-based Multi-Agent Systems: Towards Responsible, Reliable, and Scalable Agentic Systems (LaMAS 2026) as an oral presentation

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18855 2026-03-20 cs.IT cs.LG cs.SY eess.SP eess.SY math.IT 85%

BeamAgent: LLM-Aided MIMO Beamforming with Decoupled Intent Parsing and Alternating Optimization for Joint Site Selection and Precoding

BeamAgent:基于解耦意图解析和交替优化的LLM辅助MIMO波束成形

Xiucheng Wang, Yue Zhang, Nan Cheng

机构 * State Key Laboratory of ISN and School of Telecommunications Engineering, Xidian University(信息与通信工程国家重点实验室和西安电子科技大学电信工程学院)

专题命中 预训练与数据 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG

AI总结 本文提出BeamAgent框架,通过解耦语义意图解析与数值优化,结合交替优化算法解决基站选址与预编码设计问题,实现高效波束成形。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19152 2026-03-20 cs.CL cs.AI 84%

VEPO: Variable Entropy Policy Optimization for Low-Resource Language Foundation Models

VEPO:用于低资源语言基础模型的变量熵策略优化

Chonghan Liu, Yimin Du, Qi An, Xin He, Cunqi Zhai, Fei Tan, Weijia Lin, Xiaochun Gong, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang

专题命中 预训练与数据 :foundation model(title);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出VEPO,通过强化学习可验证奖励整合确定性结构约束,提升低资源语言的分词效率和翻译质量。

Comments 23 pages. Includes figures and tables. Conference submission

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19149 2026-03-20 cs.CL cs.LG 84%

Optimal Splitting of Language Models from Mixtures to Specialized Domains

从混合数据中语言模型的最优分割以专用于特定领域

Skyler Seto, Pierre Ablin, Anastasiia Filippova, Jiayuan Ye, Louis Bethune, Angelos Katharopoulos, David Grangier

机构 * Apple(苹果公司) National University of Singapore(新加坡国立大学)

专题命中 预训练与数据 :language model(title,abstract);pretraining(abstract);分类 cs.CL、cs.LG

AI总结 本文提出了一种方法,通过独立预训练多个模型并利用缩放定律确定预训练和继续预训练之间的最佳计算分配,从而提升不同模型大小和计算预算下的常识知识和推理基准性能。

Comments 26 pages, 11 tables, 17 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.06134 2026-03-20 cs.LG eess.SP q-bio.NC 83%

DeeperBrain: A Neuro-Grounded EEG Foundation Model Towards Universal BCI

DeeperBrain: 一种面向通用脑机接口的神经 grounded EEG 基础模型

Jiquan Wang, Sha Zhao, Yangxuan Zhou, Yiming Kang, Shijian Li, Gang Pan

机构 * State Key Laboratory of Brain-machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室) College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院) MOE Frontier Science Center for Brain Science and Brain-machine Integration(教育部脑科学与脑机集成前沿科学中心)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(abstract);分类 cs.LG

AI总结 DeeperBrain 通过整合生物物理和动态原理,提出神经 grounded 的 EEG 基础模型,实现通用脑机接口的高效和鲁棒性能。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19028 2026-03-20 cs.CV cs.AI cs.LG 81%

SEM: Sparse Embedding Modulation for Post-Hoc Debiasing of Vision-Language Models

SEM:用于视觉-语言模型后验去偏的稀疏嵌入调制

Quentin Guimard, Federico Bartsch, Simone Caldarella, Rahaf Aljundi, Elisa Ricci, Massimiliano Mancini

机构 * University of Trento(特伦托大学) Toyota Motor Europe(丰田欧洲公司) Fondazione Bruno Kessler(布鲁诺·凯瑟尔基金会)

专题命中 预训练与数据 :language model(title,abstract);分类 cs.AI、cs.LG

AI总结 本文提出SEM框架,通过稀疏自编码器空间调制嵌入,实现视觉-语言模型的后验去偏,提升检索和零样本分类的公平性。

Comments CVPR Findings 2026. Project website: https://sparse-embedding-modulation.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.08663 2026-03-20 cs.CL cs.AI cs.CY 79%

Augmenting Rating-Scale Measures with Text-Derived Items Using the Information-Determined Scoring (IDS) Framework

通过信息确定评分(IDS)框架用文本衍生项目增强评分尺度测量

Joe Watson, Ivan O'Connor, Chia-Wen Chen, Luning Sun, Fang Luo, David Stillwell

机构 * Psychometrics Centre, Judge Business School, University of Cambridge(剑桥大学心理测量中心、剑桥大学商学院) Faculty of Law, University of Cambridge(剑桥大学法学院) School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院) Faculty of Psychology, Beijing Normal University(北京师范大学心理学学院)

专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出IDS框架,利用大型语言模型生成文本衍生项目,提升心理测量的精度和效度,通过案例研究展示其在抑郁症测量中的有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18034 2026-03-20 cs.CR cs.AI cs.LG 79%

Semantic Chameleon: Corpus-Dependent Poisoning Attacks and Defenses in RAG Systems

语义变色龙:RAG系统中依赖语料库的污染攻击与防御

Scott Thornton

机构 * Independent Researcher(独立研究者)

专题命中 预训练与数据 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 研究RAG系统中依赖语料库的污染攻击与防御,提出双文档污染攻击方法并评估混合检索防御效果,展示混合检索能有效降低攻击成功率。

Comments 10 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2311.02401 2026-03-20 cs.LG 77%

BarcodeBERT: Transformers for Biodiversity Analysis

BarcodeBERT:用于生物多样性分析的Transformer模型

Pablo Millan Arias, Niousha Sadjadi, Monireh Safari, ZeMing Gong, Austin T. Wang, Joakim Bruslund Haurum, Iuliia Zarubiieva, Dirk Steinke, Lila Kari, Angel X. Chang, Scott C. Lowe, Graham W. Taylor

机构 * University of Waterloo(滑铁卢大学) Simon Fraser University(西蒙弗雷泽大学) Aalborg University(奥胡斯大学) Pioneer Centre for AI(先锋人工智能中心) University of Guelph(格雷厄姆大学) Vector Institute(向量研究所) Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所)

专题命中 预训练与数据 :language model(abstract);foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 BarcodeBERT通过领域特定数据自监督预训练,在物种鉴定任务中优于基础模型,尤其在低阶分类如属和种层面表现突出,且比BLAST快55倍。

Comments Main text: 14 pages, Total: 23 pages, 10 figures, formerly accepted at the 4th Workshop on Self-Supervised Learning: Theory and Practice (NeurIPS 2023)

Journal ref Bioinformatics Advances (2026) vbag054

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18073 2026-03-20 cs.AI 70%

Continually self-improving AI

持续自我改进的AI

Zitong Yang

机构 * STANFORD UNIVERSITY(斯坦福大学)

专题命中 预训练与数据 :language model(abstract);pretraining(abstract);分类 cs.AI

AI总结 本文提出三种方法,通过合成数据提升知识获取效率,减少对人类数据的依赖,并超越人类设计的训练范式,实现持续自我改进的AI。

Comments PhD thesis

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19157 2026-03-20 cs.CV 67%

ADAPT: Attention Driven Adaptive Prompt Scheduling and InTerpolating Orthogonal Complements for Rare Concepts Generation

ADAPT:基于注意力的自适应提示调度与稀有概念生成的插值正交补集

Kwanyoung Lee, Hyunwoo Oh, SeungJu Cha, Sungho Koh, Dong-Jin Kim

机构 * Hanyang University(翰阳大学)

专题命中 预训练与数据 :LLM(abstract);language model(abstract)

AI总结 ADAPT框架通过确定性提示调度和语义对齐,提升稀有概念生成效果,无需额外训练,在RareBench基准上表现优异。

Comments Accepted in CVPR 2026 (findings). 10 pages, 4 figures; supplementary material included (8 pages, 10 figures)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18358 2026-03-20 cs.CL cs.AI 62%

From Noise to Signal: When Outliers Seed New Topics

从噪声到信号:当异常值催生新主题

Evangelia Zve, Gauvain Bourgne, Benjamin Icard, Jean-Gabriel Ganascia

专题命中 预训练与数据 :language model(abstract);分类 cs.CL、cs.AI

AI总结 本文提出一种时间主题分类方法,通过分析文档轨迹识别早期信号,区分预示性异常值与传统主题强化文档,验证了其在氢经济新闻中的有效性。

Comments To appear in the Proceedings of the 15th Language Resources and Evaluation Conference (LREC 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19219 2026-03-20 cs.CV cs.LG 57%

DriveTok: 3D Driving Scene Tokenization for Unified Multi-View Reconstruction and Understanding

DriveTok: 3D驾驶场景分词用于统一多视角重建与理解

Dong Zhuo, Wenzhao Zheng, Sicheng Zuo, Siming Yan, Lu Hou, Jie Zhou, Jiwen Lu

机构 * Tsinghua University(清华大学) Yinwang Intelligent Technology Co. Ltd.(云网智能科技有限公司)

专题命中 预训练与数据 :foundation model(abstract);分类 cs.LG

AI总结 DriveTok通过3D变形交叉注意力实现高效多视角重建与理解,整合语义、几何与纹理信息,提升多视角分词效率与一致性。

Comments Project Page: https://paryi555.github.io/DriveTok/ Code: https://github.com/paryi555/DriveTok

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18427 2026-03-20 cs.CV cs.AI 57%

R&D: Balancing Reliability and Diversity in Synthetic Data Augmentation for Semantic Segmentation

R&D: 在语义分割中平衡可靠性与多样性以合成数据增强

Huy Che, Dinh-Duy Phan, Duc-Khai Lam

机构 * University of Information Technology, Ho Chi Minh City, Vietnam(越南胡志明市信息科技学院) Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学)

专题命中 预训练与数据 :prompting(abstract);分类 cs.AI

AI总结 本文提出一种整合可控扩散模型的合成数据增强方法,通过类感知提示和视觉先验融合提升图像质量,有效提升语义分割性能,尤其在数据稀缺场景中表现优异。

Journal ref Computational Collective Intelligence, ICCCI 2025, Lecture Notes in Computer Science 16139 (2026) 433-448

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18189 2026-03-20 cs.AI 57%

TeachingCoach: A Fine-Tuned Scaffolding Chatbot for Instructional Guidance to Instructors

TeachingCoach:一种经过微调的支架聊天机器人,用于指导教师的教学指导

Isabel Molnar, Peiyu Li, Si Chen, Sugana Chawla, James Lang, Ronald Metoyer, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame(诺特丹大学)

专题命中 预训练与数据 :language model(abstract);分类 cs.AI

AI总结 TeachingCoach通过基于教育资源提取教学规则和合成对话生成,为教师提供实时对话指导,提升教学支持效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.18058 2026-03-20 cond-mat.mtrl-sci 50%

Polarization Dynamics in Ferroelectrics: Insights Enabled by Machine Learning Molecular Dynamics

铁电材料的极化动力学:机器学习分子动力学带来的洞察

Dongyu Bai, Ri He, Junxian Liu, Liangzhi Kou

专题命中 预训练与数据 :pretraining(abstract)

AI总结 研究铁电材料极化动力学与畴动力学的挑战,通过机器学习分子动力学实现高精度原子级模拟,探讨其在极化切换、畴核化迁移等领域的应用及方法学挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏