arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-05-04 至 2026-05-04 共收录 9 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 9 篇

2605.00433 2026-05-04 cs.SE cs.AI 92%

Improving LLM Code Generation via Requirement-Aware Curriculum Reinforcement Learning

通过需求感知的课程强化学习改进LLM代码生成

Shouyu Yin, Zhao Tian, Junjie Chen, Shikai Guo

机构 * Tianjin University(天津大学) Dalian Maritime University(大连海事大学)

专题命中 预训练与数据 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本文提出RECRL框架,通过自动感知需求难度、优化挑战性需求和自适应课程采样策略,提升LLM代码生成性能,实验显示在多个基准上表现显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15367 2026-05-04 cs.CR cs.MA 89%

SoK: Security of Autonomous LLM Agents in Agentic Commerce

SoK:自主大语言模型代理在代理商业中的安全性

Qian'ang Mao, Jiaxin Wang, Ya Liu, Li Zhu, Cong Ma, Jiaqi Yan

专题命中 预训练与数据 :LLM(title,summary_cn);large language model(abstract);language model(abstract)

AI总结 本文系统分析了自主LLM代理在商业中的安全问题,提出统一的安全框架,识别12种跨层攻击向量,并提出分层防御架构以解决现有协议的授权漏洞。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18900 2026-05-04 physics.chem-ph cond-mat.mtrl-sci cs.LG 79%

Foundation Models for Discovery and Exploration in Chemical Space

化学空间发现与探索中的基础模型

Alexius Wadell, Anoushka Bhutani, Victor Azumah, Austin R. Ellis-Mohr, Andrew J. Stier, Kareem Hegazy, Alexander Brace, Hancheng Zhao, Celia Kelly, Anuj K. Nayak, Yuhan Chen, Dimitrios Simatos, Hongyi Lin, Murali Emani, Venkatram Vishwanath, Kevin Gering, Melisa Alkan, Tom Gibbs, Jack Wells, Wesley W. Qian, Richard C. Gerkin, Benjamin Amorelli, Alexander B. Wiltschko, Lav R. Varshney, Bharath Ramsundar, Karthik Duraisamy, Michael W. Mahoney, Arvind Ramanathan, Venkatasubramanian Viswanathan

机构 * Department of Mechanical Engineering, University of Michigan(密歇根大学机械工程系) Department of Chemical Engineering, University of Michigan(密歇根大学化学工程系) Department of Electrical and Computer Engineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系) The Santa Fe Institute(圣菲研究所) International Computer Science Institute(国际计算机科学研究所) Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系) Department of Computer Science, University of Chicago(芝加哥大学计算机科学系) Argonne National Laboratory(阿贡国家实验室) Idaho National Laboratory(爱达荷国家实验室) NVIDIA Corporation(英伟达公司) Osmo Labs, PBC AI Innovation Institute, Stony Brook University(石溪大学AI创新研究所) Brookhaven National Laboratory(布鲁赫斯研究所) Deep Forest Sciences, Palo Alto, CA(帕洛阿尔托的Deep Forest Sciences) Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系) Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室)

专题命中 预训练与数据 :foundation model(title,abstract);分类 cs.LG

AI总结 本文提出MIST模型,通过大规模无标签数据训练,实现对化学空间中多种分子性质的预测,展示了其在多目标电解质溶剂筛选和立体化学推理中的应用,以及在超参数感知贝叶斯神经缩放定律下的高效训练能力。

Comments Main manuscript: 30 pages (including references), 7 tables and 5 figures. Supplementary information: 158 pages (including references), 15 tables and 128 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2312.12339 2026-05-04 cs.LG cs.RO 79%

Value Explicit Pretraining for Learning Transferable Representations

为学习可迁移的表示进行价值显式预训练

Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

机构 * Thomas Lord Department of Computer Science at the University of Southern California(南加州大学汤姆·劳德计算机科学系)

专题命中 预训练与数据 :pretraining(title,abstract);分类 cs.LG

AI总结 本文提出价值显式预训练(VEP),通过学习对环境动态和外观变化不变的表示,提升强化学习任务迁移能力。实验表明VEP在未见任务泛化能力、奖励和样本效率上均优于现有方法。

Comments Published in Robotics and Automation Letters (RA-L), January 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.00251 2026-05-04 cs.SD cs.CL eess.AS 70%

Alethia: A Foundational Encoder for Voice Deepfakes

Alethia:一种用于语音深度伪造的 foundational 编码器

Yi Zhu, Brahmi Dwivedi, Jayaram Raghuram, Surya Koppisetti

机构 * Reality Defender Inc.

专题命中 预训练与数据 :foundation model(abstract);pretraining(abstract);分类 cs.CL

AI总结 本文提出Alethia,一种新的基础音频编码器,结合瓶颈掩码嵌入预测与基于流匹配的光谱图重建,显著优于现有语音基础模型,在真实世界扰动和零样本泛化方面表现更优。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.24541 2026-05-04 cs.CL 70%

Open Korean Historical Corpus: A Millennia-Scale Diachronic Collection of Public Domain Texts

开放的韩国历史语料库:一个跨越千年的历时性公共领域文本集合

Seyoung Song, Nawon Kim, Songeun Chae, Kiwoong Park, Jiho Jin, Haneul Yoo, Kyunghyun Cho, Alice Oh

专题命中 预训练与数据 :large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本文介绍了一个涵盖1300年历史的韩国语料库,用于量化分析语言演变,包括韩文书写系统的变化及现代语言模型的改进。

Comments LREC 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24255 2026-05-04 cs.HC cs.LG 70%

Understanding Cognitive States from Head & Hand Motion Data

从头和手的运动数据理解认知状态

Kaiang Wen, Mark Roman Miller

机构 * Department of Computer Science(计算机科学系) Illinois Institute of Technology(伊利诺伊理工学院)

专题命中 预训练与数据 :foundation model(abstract);pretraining(abstract);分类 cs.LG

AI总结 本文研究通过VR telemetry数据推断决策过程中的瞬时认知状态,提出新数据集和VR原生运动适配器,实现82%的准确率,展示VR运动数据蕴含更丰富的行为信息。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.00503 2026-05-04 cs.CV cs.LG 57%

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

端到端自回归图像生成与1D语义分词器

Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

机构 * California Institute of Technology(加州理工学院) Stanford University(斯坦福大学)

专题命中 预训练与数据 :foundation model(abstract);分类 cs.LG

AI总结 本文提出端到端训练 pipeline,结合重建与生成优化,改进1D分词器,实现自回归图像生成的高FID分数结果。

Comments In ICML 2026 (Spotlight)

详情

展开后加载摘要…

URL PDF HTML 收藏
2411.10618 2026-05-04 cs.CE 50%

D-Flow: Multi-modality Flow Matching for D-peptide Design

D-Flow:多模态流匹配用于D-肽设计

Fang Wu, Shuting Jin, Xiangru Tang, Junlin Xu, Mark Gerstein, James Zou

专题命中 预训练与数据 :language model(abstract)

AI总结 D-Flow通过多模态流匹配方法,结合结构表示和蛋白质语言模型,提升D-肽设计的生成能力,实现从通用蛋白设计到靶向结合体设计的转变,实验结果表明其在PepMerge基准测试中表现优异。

Journal ref IEEE Journal of Biomedical and Health Informatics 2026

详情

展开后加载摘要…

URL PDF HTML 收藏