AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
EmbGen：利用重组语料库进行教学
机构 * Commonwealth Bank of Australia（澳大利亚联邦银行）
专题命中 指令微调 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI
AI总结 本文提出EmbGen，一种通过重组语料库生成合成数据的pipeline，旨在提高在不同语义异质性数据集上指令微调模型的性能，通过实体-描述对的分解、基于嵌入相似性的重组以及基于聚类的采样生成问题-答案对，从而在固定token预算下提升二元准确率。
Comments 8 pages, 4 images (32 pages with appendix)
WARC-Bench：基于网络存档的GUI子任务执行基准
机构 * Uniphore
专题命中 指令微调 ：SFT(summary_cn,abstract)；分类 cs.AI、cs.LG
AI总结 本文提出WARC-Bench，一个基于网络存档的GUI子任务执行基准，通过438个任务评估多模态AI代理在子任务上的能力，实验表明SFT和RLVR方法在提升子任务执行效果上取得显著成果。
通过卡尔曼滤波、克里格法和过程噪声的精确跟踪变压器
机构 * LinkedIn Core AI（LinkedIn核心AI）
专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种基于贝叶斯滤波的变压器（BFT），通过引入精度权重的克里格法、自适应卡尔曼更新和动态模型，解决了传统变压器在处理不确定性方面的不足，提升了序列推荐和大语言模型在噪声环境下的鲁棒性。
HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
机构 * Department of Computer Science and Technlogy（计算机科学与技术系） ； Tsinghua University（清华大学） ； School of Computer Science and Technlogy（计算机科学与技术系） ； Xi’an Jiaotong University（西安交通大学） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高科技区（滨江）区块链与数据安全研究院）
专题命中 指令微调 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI、cs.LG
AI总结 本文提出HELLoRA，一种针对混合专家模型的层级低秩适应方法，通过仅对最活跃的专家添加LoRA模块，减少可训练参数和计算量，同时提升下游任务性能。
通过保守监督微调在流匹配视觉-语言-动作中保持基础能力
机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
专题命中 指令微调 ：SFT(title,abstract)
AI总结 本文提出保守监督微调（ConSFT）方法，旨在通过动态调整学习信号来减少流匹配视觉-语言-动作模型在微调过程中对预训练能力的损害，从而在不依赖先验数据或架构开销的情况下提升模型在目标分布上的适应性和能力保留。
Comments 20 pages, 9 figures
离散倾斜匹配
机构 * Harvard University（哈佛大学） ； University of Oxford（牛津大学） ； Kempner Institute（凯姆纳研究所）
专题命中 指令微调 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.LG
AI总结 本文提出了一种无需概率模型的离散倾斜匹配方法，用于改进扩散大语言模型的微调，通过局部解掩码后验的状态级匹配来提高训练稳定性并防止模式崩溃。
ZeroSearch: 无需搜索即可激励大语言模型的搜索能力
机构 * Tongyi Lab , Alibaba Group（通义实验室，阿里巴巴集团）
专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本研究提出ZeroSearch框架，通过模拟搜索提升大语言模型的搜索能力，解决真实搜索引擎文档质量不可控和API成本高的问题，实验表明其在不同参数规模的模型上均表现优异。
信任还是弃权？一种自感知RAG方法
机构 * Rutgers University（罗格斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 指令微调 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出了一种自感知RAG方法SABER，通过构建知识冲突基准并引入自感知信念估计器，提升RAG在冲突场景下的准确性和可靠性，同时在弃权策略上实现风险与覆盖的平衡。
扩散状态策略优化用于掩码扩散语言模型
机构 * Institute of Science Tokyo（东京科学研究院）
专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG
AI总结 本文提出Diffusion-State Policy Optimization（DiSPO），一种用于掩码扩散语言模型的插件信用分配层，通过直接优化中间填充决策来改进生成过程，实验表明其在数学和规划基准测试中优于现有基线方法。
Spatial-MLLM: 提升基于视觉的空域智能的MLLM能力
机构 * Tsinghua University（清华大学）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出Spatial-MLLM，一种基于纯2D观测的视觉空域推理框架，通过双编码器架构和空间感知帧采样策略提升空域理解能力，实验表明其在多种视觉空域任务中达到SOTA性能。
Comments 22 pages
迈向细粒度鲁棒性：面向视觉-语言模型的注意力引导测试时提示调优
机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications（新一代人工智能技术及其交叉应用重点实验室） ； Southeast University（东南大学） ； School of Intelligence Science and Engineering（智能科学与工程学院）
专题命中 指令微调 ：language model(title,abstract)
AI总结 本文提出了一种注意力引导的测试时提示调优方法（A-TPT），旨在解决视觉-语言模型在对抗攻击下的鲁棒性问题，通过改进的梯度注意力机制和空间变化的增强强度来提升模型在细粒度场景下的表现。
Comments Accepted by ICML 2026, Project Page: this https, URL Code URL: this https URL
D-CLING: 保留先验知识的深度条件细调方法用于导航基础模型
机构 * Frontier Research Center, Toyota Motor Corporation（丰田电机公司前沿研究中心）
专题命中 指令微调 ：foundation model(title,abstract)
AI总结 本文提出了一种新的细调方法，通过利用大规模预训练同时高效学习新环境或相机配置等新设置，从而在保留预训练知识的同时提升导航模型的鲁棒性和准确性。
Comments This paper has been accepted to the 2026 IEEE International Conference on Robotics and Automation (ICRA 2026), which will be held in Vienna, Austria, from June 1 to 5, 2026
对用于开放集虹膜呈现攻击检测的视觉基础模型系统性失败分析
机构 * Indian Institute of Technology, Dharwad, India（印度德瓦德理工学院） ； Indian Institute of Information Technology Dharwad, India（印度德瓦德信息学院） ； SAFE Center, Norwegian University of Science and Technology (NTNU)（挪威科学技术大学（NTNU）的安全中心）
专题命中 指令微调 ：foundation model(title,abstract)
AI总结 本文系统分析了视觉基础模型在开放集虹膜呈现攻击检测中的表现，发现其在面对未见过的攻击设备和跨光谱转移时表现不佳，强调了需要更鲁棒的虹膜检测表示方法。
通过损失自适应学习率实现无遗忘的微调
机构 * University of California San Diego（加州大学圣迭戈分校）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG
AI总结 本文提出了一种损失自适应学习率调度方法FINCH，通过动态调整学习率来减少微调过程中的遗忘现象，同时保持任务性能，从而在知识获取、科学和低资源语言适应等基准测试中显著提升了模型表现。
Comments 25 pages
超越困惑度：低秩预训练的几何与谱研究
机构 * University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文通过几何和谱分析研究低秩预训练方法，揭示其与全秩训练在模型性能和解空间上的差异，发现低秩方法在不同模型规模下表现各异，且困惑度不能完全反映下游任务性能。
Comments 9 pages, 5 figures, 2 tables
TwinRL: 基于数字孪生的强化学习用于真实世界机器人操作
机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学） ； Simplexity Robotics（Simplexity机器人） ； Tsinghua University（清华大学） ； Hong Kong University of Science and Technology（香港科技大学）
专题命中 指令微调 ：SFT(abstract,abstract_cn)；post-training(abstract)
AI总结 本文提出TwinRL框架，通过数字孪生与真实世界协同训练，提升视觉-语言-动作模型在真实世界中的探索效率和收敛速度，实现高成功率和快速收敛。
协同基础模型用于半监督胎儿心脏超声分析：SAM-Med2D边界细化与DINOv3语义增强
机构 * Zhuhai College of Science and Technology（珠海科技学院）
专题命中 指令微调 ：foundation model(title)；分类 cs.AI
AI总结 本文提出了一种半监督框架，用于胎儿心脏超声图像的联合分割和分类，结合SAM-Med2D进行边界细化和DINOv3进行语义增强，有效提升了胎儿先天性心脏病筛查的性能。
Comments Accepted to the ISBI 2026 Fetal HearT UltraSound Segmentation and Diagnosis (FETUS) Challenge
SAM3是否准备好进行病理分割？
机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； University of Verona（威尼斯大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
专题命中 指令微调 ：prompting(abstract,abstract_cn)；分类 cs.AI
AI总结 本文评估了SAM3在病理图像分割中的能力，发现文本提示效果有限，视觉提示类型和预算对性能影响显著，少样本学习有提升但鲁棒性不足，且提示基于方法与任务训练适配方法之间存在显著差距。
Comments accept to icip2026
基础模型对AI检测器看起来很像人类
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 指令微调 ：instruction tuning(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本研究发现基础模型生成的文本在AI检测器中常被误判为人类生成，提出HIP方法通过迭代改写提升检测器规避能力，揭示当前检测器更关注指令调优和局部上下文而非通用机器生成文本特征。
Comments 39 pages, 9 figures
Mega-ASR: 通过扩大现实世界声学模拟实现野外语音识别
机构 * NTU（国立新加坡大学） ； NUS（新加坡国立大学） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出Mega-ASR，一种统一的野外语音识别框架，结合可扩展的复合数据构建与渐进的声学到语义优化，通过在7种经典声学现象和54种物理上合理的复合场景上训练，显著提升了在恶劣环境下的语音识别性能。
Comments Project page: https://xzf-thu.github.io/Mega-ASR/. Code, models, and dataset will be released. A robust ASR framework targeting in-the-wild and compositional acoustic scenarios where conventional ASR systems fail
通过基于人设的对抗性链式思考视觉语言模型验证实现被动施工现场安全监控
机构 * Department of Computer Science, University of Maryland, College Park, MD, USA（大学马里兰学院计算机科学系，马里兰州科利尔帕克，MD，美国）
专题命中 指令微调 ：prompting(abstract)；分类 cs.AI
AI总结 本文提出了一种被动的施工现场安全监控方法，通过三阶段架构处理视频数据，结合细调的YOLO11、SAM 3和Qwen3-VL-8B-Instruct模型，利用基于人设的对抗性链式思考协议提高合规性验证和幻觉控制，主要贡献是第三阶段提示设计，提升了12%的精度。
Comments 10 pages, 4 figures. First place, Ironsite.ai Spatial Intelligence Hackathon, University of Maryland, February 2026. Code available at https://github.com/ananthsriram1/ironsite-hackathon-project-safety_assistant
LoRA与全微调：一种理论视角
机构 * Universität des Saarlandes（萨尔兰州大学） ； CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍兹研究中心）
专题命中 指令微调 ：pretraining(abstract)；分类 cs.LG
AI总结 本文从理论角度研究了LoRA与全微调在线性回归中的表现，发现LoRA在过定和欠定情况下能够以更低的额外风险优于全微调，且LoRA秩的选择影响泛化性能，实验验证了理论结果的广泛适用性。
Comments Preprint
UniRefiner: 通过对比注册教会预训练ViTs自我处理杂质
机构 * Xi’an Jiaotong University, School of Software Engineering（西安交通大学软件工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 指令微调 ：foundation model(abstract)
AI总结 本文提出UniRefiner，一种通用 refinement 框架，通过对比注册方法教会预训练 ViT 自动处理空间敏感任务中的杂质 token，提升模型在密集预测任务中的表现。
Comments CVPR 2026
通过强化学习优化LLM代码生成的提示
专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)
AI总结 本文提出了一种基于强化学习的框架，通过将提示优化视为序列决策问题，利用PPO代理结合直接生成、遗传词法突变和语义重写动作空间，指导由单元测试反馈获得的形状奖励，从而提升LLM代码生成的准确性。
DynaTrain: 快速在线并行切换用于弹性大语言模型训练
机构 * Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； Peking University（北京大学） ； Infinigence AI ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学）
专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 本文提出DynaTrain，一种能够快速在线重新配置任意多维并行性的分布式训练系统，通过虚拟参数空间抽象统一所有分布式训练状态，实现并行配置的确定性映射，并在密集和MoE模型上展示了显著的性能提升。
Comments GitHub Repo: https://github.com/infinigence/ElasticMegatron
增强推理探索的变换增强GRPO
机构 * University of Notre Dame（诺特大学） ； IBM Research（IBM研究院） ； Meta AI ； Florida State University（佛罗里达州立大学）
专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；分类 cs.LG
AI总结 本文提出变换增强GRPO（TA-GRPO）方法，通过问题重述解决大语言模型强化学习中梯度消失和多样性崩溃问题，提升模型在推理任务中的探索能力。
通过提示注入指纹化LLM
机构 * Duke University（杜克大学） ； Ant Group（蚂蚁集团）
专题命中 后训练与偏好优化 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)
AI总结 本文提出LLMPrint框架，通过利用LLM对提示注入的固有脆弱性来构建指纹，以解决已发布模型的溯源问题，其核心方法是优化提示以获得唯一且抗后处理的指纹，实验显示其在高召回率下保持低误报率。
TSR：用于LLM代理多轮RL的轨迹搜索
机构 * Technical University Munich（慕尼黑技术大学） ； IBM Research（IBM研究院）
专题命中 后训练与偏好优化 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出TSR，一种在训练时改进每轮轨迹生成的方法，通过轻量级树状搜索构造高质量轨迹，提升rollout质量和学习稳定性，适用于多轮RL任务。
不要让多臂老虎机反馈将连续LLM推荐系统更新偏离目标
机构 * SK Telecom（SK电信） ； KAIST（韩国科学技术院）
专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.AI、cs.LG
AI总结 本文提出了一种名为Anchored Bandit Policy Optimization (ABPO)的框架，用于持续改进基于生成式大语言模型的推荐系统，通过结合组内相对策略优化（GRPO）和显式处理曝光偏差和反馈模糊性，以减少因部署日志提供的策略形状上下文老虎机反馈导致的偏差，并提高推荐准确性。
通过信息论指导消除奖励模型中的归纳偏置
机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴大模型应用团队） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院）
专题命中 后训练与偏好优化 ：RLHF(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出了一种基于信息论的奖励模型去偏方法DIR，通过最大化奖励模型评分与人类偏好对之间的互信息，同时最小化奖励模型输出与偏好输入偏置属性之间的互信息，从而有效缓解归纳偏置问题并提升RLHF性能。
Comments Published as a conference paper at The International Conference on Learning Representations (ICLR) 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈